Deep Q-Networkを用いた動作模倣

ロボットの動きの作り方には人力で全ての動作を設定する手法や何らかの評価関数に従って生成する手法など様々な手法があります.その中で,ある動作を模倣して新しい動作を作成する方法が既に研究されており,インターネット上にある多種多様な動画を手本として動作を模倣できれば様々な動きを簡単に作れるのではないかと考えました.しかし,形が異なるものに動作を模倣させると模倣元と動作ロボットでの部位の対応付けが必要となってしまうという難しさがあります.それを解決するために機械学習を用います.この研究では,手本となる動作を用意し,模倣元と動作ロボットを白黒2値のシルエットとして扱い,Deep Q-etwork(DQN)を用いてその動作をロボットに模倣させることで動作を生成を行っています.
 
われわれの実験では仮想のロボットアームを用いて動作の模倣を行います.DQNに現在のロボットアームの画像と目標となる画像を入力し,与えられた目標画像と同じシルエットになるような動きを学習します.この目標画像を連続して切り替えることで動きの模倣を行います.左の動画が目標動作で右が模倣した動作を示しています.