HTML5 Webook

51/102

3.3複合現実技術を活用した遠隔コミュニケーション多感覚情報技術の重要な応用テーマのひとつとして、遠隔コミュニケーションの促進が挙げられる。現在、映像・音声をリアルタイムで通信し、遠隔の会話や会議を行うことは珍しいことではない。しかしながら、対面でのコミュニケーションと比較すると、リアリティの伝達・再現において限界がある。その要因として、伝達情報の解像感・空間的広がり・立体感の不足、伝送情報の遅延、映像・音声以外の多感覚情報（感触等）の欠如などが挙げられる。将来、今まで以上に臨場感のある情報が伝達できれば、遠隔の会議・作業・診察・医療・介護など、多様な遠隔コミュニケーションの実現・促進が期待できる。本研究グループでは、より自然でリアルな遠隔コミュニケーションを実現するための技術開発を進めている。そのひとつが、複合現実（MR: Mixed Reality）技術を活用した遠隔コミュニケーションである。現状の遠隔会議等では、相手側の人や環境はこちら側のディスプレイの枠内に提示され、先方の空間との一体感・共有感は得られない。そこで、相手の人物映像を切り出し、その立体映像を復元してこちらの3次元実空間の特定の位置に固定して提示できれば、相手があたかもこちらの空間にいるかのような実在感を生み出すことが可能になると考えられる。このような状況を実現するために、赤外アクティブセンサを用いて人物の切り出しと奥行き点群データの計測を行い、その人物の立体構造のポリゴン表現を構築してテクスチャ画像とともに伝送し、MR-HMD（複合現実ヘッドマウントディスプレイ）を用いて実空間に立体映像を定位させた[23]（図16）。このMR-HMDデバイスは、頭部位置のセンシングにより3次元空間図15　非注意性難聴に対応する脳内状態を特定するためのfMRI実験航空機の模擬操作時に警告音を聞き逃した場合、右のIFG（下前頭回）とPre-SMA（前補足運動野）の脳活動が高まることを示している。(b) 警告音を聞き逃した状況に対応した脳活動(a) 航空機の操縦を模擬した実験システム図16　複合現実技術を活用した遠隔コミュニケーション赤外アクティブセンサ（左）を用いて計測された奥行き点群データから人物の立体構造とテクスチャ映像を生成し、MR-HMD（複合現実ヘッドマウントディスプレイ）に無線で伝送する（中）ことにより、遠隔からの人物映像を実空間に定位させて会話ができる（右）。475-1　多感覚情報処理の脳・認知メカニズムの解明とその応用