エアトラックボール

この研究では身体の動きから機械を操作する適応型のインタフェースを作成しています.適応型インタフェースとは使う人のクセや習慣に適応するように学習を行うインタフェースのことで,畳み込みニューラルネットワーク(Convolutional Neural Network: CNN, ConvNet) によって操作に関わる身体的動作と機械操作の対応関係を学習しています.
 
われわれの実験では,トラックボールを操作する手の動きをウェブカメラで真上から撮影します.被験者に,機械(カーソル)を操作してランダムに出現する目標点に移動させるタスクを1分間行ってもらいます.ここで撮影した手の動画とトラックボールの操作によるオブジェクトの移動量の対応関係を学習させることにより,手を動かすだけで,つまり,トラックボールがなくともあたかもあるかのように操作する(エアトラックボール)だけで機械操作ができる適用型インタフェースの開発を行っています.
 
図 (1)
 
このインタフェースは新たな意思伝達の手段として応用できます.身体がほとんど動かなくなり,自らの意思を表現できなくなるALS(筋萎縮性側索硬化症)のような人でも限られた動作部位から意思伝達,つまり機械操作ができることを可能とします.もしくは,脳波から簡単で安価なインタフェースを構築することもできるかもしれません.