工芸共同研究

2021年度:視線を入力とした遠隔操作プラットフォームの構築

令和2年度版障がい者白書によると日本の身体障がい者は428.7万人である.そのうち、65歳以上の障がい者は311.2万人である.今後も一人暮らしの身体障がい者は増加する.身体障がい者や高齢者が一人で生活の質を維持することは難しい.本研究では,身体の不自由な四肢麻痺患者や高齢者の生活支援を目的として視線・筋電信号など生体信号を入力とする遠隔操作プラットフォーム(バーチャル・コックピット)の構築を目的とする.具体的には,①視線とカメラ映像をマッチした直感的な視線インタフェース②GPS,LIDAR,wifiカメラを使った遠隔操作ロボット③深層学習や逐次学習を用いた安定的な誤作動・衝突防止システムを構築する.

本研究では,操作者が遠い場所まで自分のアバターになるドローンやロボットを送って他人や周囲環境とインタラクションできる技術の構築を目的とし,以下を実現する.

①視線を用いたインタフェース(バーチャル・コックピット)の製作(辛・姜・今給黎)

寝たきり状態の高齢者や身体障がい者のため、ディスプレイや没入型HMD(VIVE Pro EYE)に視線を用いた直感的なインタフェース(バーチャル・コックピット)を構築する。それを用いてバーチャルキーボードでメールを書くことやYouTube動画を選択することが可能になる。さらに、ロボットに搭載したWebカメラ画面をディスプレイに投影し、その画面上に半透明の矢印を見ることでルンバのどロボットを制御することも可能になる.それにより自分の能力や感覚の拡張を伴う技術を確立する.

②GPS,LIDARを使った遠隔操作支援システム(大保・辛)

 ロボットに搭載したGPS,LiDARを用いてSLAMや自己位置同定の情報を直感的にわかるように色・音で表示するシステムを構築する.それにより高齢者や障がい者もロボット制御が直感的にできる.

③強化学習と深層学習を用いた安定的な誤作動・衝突防止システム(神原・大保) 外の環境は天気,障害物,歩行者などにより激しく変化する.そのような環境で誤作動防止や衝突回避ができるように深層学習や強化学習を用いて安定的に作動するシステムを構築する.

提案するバーチャル・コックピットが実現できると侵襲式ブレイン・マシン・インタフェース(BMI)より同程度以上の動作を可能になるので身体障がい者や高齢者が日常生活の中で必要な様々な作業が独自に行うことが可能になる.それらの応用分野に対して統合的に扱えるシステムを開発することで、舞台芸術や農業用のドローンなど他分野への利用方法も大いに考えられる.また、得られた成果をホームページで研究成果をアピールする.また、国際シンポジウムなどに研究発表を行う.また、FacebookやKougei Peopleに積極的に情報発信を実施する.