視覚と運動の感覚統合学習

人の脳は様々な感覚器官から刺激を受け取り認知しますが,その情報は刺激の種類ごとに完全に分けて処理されているわけではなく,脳の深い部分で複数の感覚情報が混ざり合っていると考えられています.このことを示す重要な例として,人間や猿が行う模倣が挙げられます.模倣とは,他人の行動を観察してそれと同じ行動を取ることですが,模倣を行うには,視覚刺激として受け取った他人の動きを,自分の動きへと対応付けなければなりません.これは,視覚と運動感覚が混ざり合って認知されていなければ不可能なことです.この他にも,複数の感覚刺激を総合することで安定した環境認知を可能としたり,人のもつ高度な概念を構築することにおいても重要な役割を果たします.
 
われわれの研究では,視覚・運動の感覚統合をニューラルネットワークによりモデル化しています.ニューラルネットワークは様々なデータに適応できる点で,統合学習のモデル化に適しています.
 
model
 
このモデルでは,視覚として入力された動画から対応する運動を生成する,つまり,模倣のようなことが可能です.また,逆に運動から視覚を生成,つまり,運動を視覚的にイメージすることもできます.統合学習のモデルにはリカレントニューラルネットワークを組み込むことで,運動という時間的に変化する情報を扱うことを可能としていることも本研究の特徴です.
デモムービーでは統合学習モデルを用いて動画から運動を生成した結果を示しています.