LSTMを用いた身体動作に基づくつもりインタフェース

 
 
 ロボットなどの制御対象の操作には入力インタフェースが使用されます.入力インタフェースは設計者によってユーザの操作とロボットの動作の対応関係が事前に定義されている場合がほとんどですが,これが必ずしも万人にとって使いやすいものであるとは限りません.また制御対象の自由度が大きくなると操作しやすいインタフェースの定義が困難になり,インタフェースのデバイスそのものが煩雑になってしまうこともあります.そのため直観的で使いやすいインタフェースを作成することは設計者の大きな課題の1つであるといえます.
 われわれは,操縦者にとって使いやすいインタフェースについて研究しています.ここでは身体動作,特に手の動作から制御対象を操作することができるようなモデルを構築することを考えます.
 
 

 

 制御対象を操作するためのモデルへの入力は各操縦者によって異なると考えられるので,機械学習によって操縦者個人に適応したモデルを構築します.手の動作は時系列情報であるため,機械学習には時系列情報の処理に適しているLSTMを用います.
 モデルを学習するためには正解となるデータが必要です.操縦者には「動いているロボットをあたかも自分が操縦しているつもり」になって手を動かしてもらい,その時の手の動作をデータとして保存します.このデータをモデルに学習させることで手の動作からロボットを操作するモデルを構築します.
 
 
 
 


 
 
 この動画では,実際に手の動作からロボットを意図通りに移動させたり姿勢を変えたりする様子を紹介しています.この手の動作とロボットの動作の対応関係はこの操縦者個人に適応したものであり,操縦者本人にとってのみ操作しやすいものになっていることが期待されます.