973●ユニバーサルコミュニケーション分野メラ等）の前で自ら一回転し異なる方向から身体の2D映像を取得し、それらの情報をもとに本人のフルボディの基本モデルを再構築する（図1上参照）。この基本モデルは、身体の骨格、体表面の3D形状（メッシュモデル）、テクスチャ画像（服装や顔のパーツ・手足の画像等）から構成されている。次に、カメラの前で本人が様々な動作や発話を行うと、フレームごとに顔の表情（3Dテクスチャ画像）と身体の姿勢（3D骨格・関節角）が推定され、あらかじめ構築しておいた身体の基本モデルがこれらの情報を基に更新される。この3Dアバターを仮想空間上に任意の向きで配置することで、刻々と変化する本人の表情や身体動作を様々な方向から表示・再生させることが可能となる（図1下）。このREXR技術を用いると、本人が無意識に表出する細やかな表情（微表情: micro-expressions）やジェスチャをどの方向からでも入力映像と同程度に精細に本アバターで再現できるため、相手の心の機微（微妙な感情変化・意図など）をこれらの非言語情報から読み取ることが可能になる（図2）。また、このような非言語情報は相手に対する同意・誠実さ・好意等の社会的関係性の情報を豊富に含むため、円滑なコミュニケーションを成立させるためには極めて重要な情報と考えられる。・今後の展開今回開発したREXR技術を将来、仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば、リモートであっても仮想空間内で各人が互いに向き合い、参加者同士の深い信頼関係の構築やシビアなビジネス交渉も可能になり、現在のオンライン会議システムでは困難な相互理解の深化が図れる遠隔コミュニケーションの実現が期待される（図3、動画はhttps://youtu.be/LuqhKmkAEagに掲載）。今後は、このような複数の人々が仮想空間を共有できる遠隔コミュニケーションの実現を目指して、3Dアバター構築の精度向上（3次元形状の正確さや動きの滑らかさ等）や処理の高速化（リアルタイム対応）を可能にする技術開発を更に進めていく。また、本技術の活用や実証実験、本技術を普及していく上での倫理的・法的・社会的課題に関しては、URCF（超臨場感コミュニケーション産学官フォーラム）のXR遠隔コミュニケーションWG等とも連携して、本技術の社会展開に取り組んでいく。図1 REXR技術: カメラ1台の映像から3Dアバターを構築し、刻々と変化する表情や動作を様々な方向から再現図2 細やかな表情の変化を様々な方向から再現した3Dアバター図3 仮想空間内で互いに向き合い、各人の表情・動作を豊かに伝えて相互理解の深化が図れる将来の遠隔コミュニケーションに活用3.4.4 先進的リアリティ技術総合研究室
元のページ ../index.html#105