96■概要先進的リアリティ技術総合研究室では、空間・時間・身体の制約を超えたコミュニケーションの実現を目指して、実世界の人物や環境をデジタル化してサイバー空間に再構築し、ノンバーバルな情報や多感覚の情報を遠隔の人々に伝えることで相互理解を深化させる技術の研究開発を推進する。特に、1）ヒトが多感覚の情報から感じるリアリティ（実在感）の本質をヒトの行動解析や脳機能イメージングにより探求し、2）実世界の人・物・環境をデジタル化し理解・拡張するための人工知能（AI）技術を開発するとともに、3）遠隔の人々にそれらを映像・音響・感触等でリアルかつ自然に伝えるXR（VR/AR/MR）インタフェース技術の開発を行う。このような技術を社会に実装していくことでBeyond5G/6Gが描く未来社会の実現に寄与する。そのために、URCF（超臨場感コミュニケーション産学官フォーラム）等との連携を通じて、研究成果の社会展開を図っていく。第5期中長期計画の期間においては、現状のオンライン会議では十分に伝えられない非言語情報（表情・視線・ジェスチャ等）をリモートでも効果的に伝え、複数人による一体感のある遠隔の円卓会議を3D共有空間で可能にするための基盤技術を開発する。特に、本人のリアルで表情豊かな3Dアバターをカメラ映像だけから構築し、リアルタイムでサイバー空間に再現するための技術を開発する。将来、このアバター構築・再現技術とNICTで現在開発が進められている同時通訳システムを連動させることで、海外にいる人とも同じサイバー空間内でそれぞれの母国語を用いて心豊かなコミュニケーションがとれるようなシステムの開発につなげていく。また、ヒトの心理・行動・脳機能解析により、3Dアバターの表情／視線／動作の再現効果の検証や共有仮想空間の設計のための要件導出等を行う。さらに、モノ・環境とのインタラクションを感触・音響等を含む多感覚情報を用いてサイバー空間内で実現するためのクロスモーダル・データベースの構築を行う。■令和3年度の成果令和3年度は、カメラ1台の映像から自分のリアルな3Dアバターを構築し、表情や動作を豊かに再現するREXR（Realistic and EXpressive 3D avataR：レクサー）技術の開発を行った。本技術を用いると、多数のカメラや特殊なセンサは必要とせず、カメラ1台の映像だけから身体の3D形状・テクスチャ・姿勢及び顔の3D形状・表情の構築を行い、刻々と変化する細やかな顔の表情や動作をどの方向からでも入力映像と同程度に精細に再現することができる。本成果に関しては、2022年3月に国際会議 IEEE VR 2022において発表するとともに、NICTから報道発表を行った（https://www.nict.go.jp/press/2022/03/14-1.html）。・背景と狙い仮想空間（メタバース）や複合現実（MR）空間を共有し、自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行う技術の開発やサービスの提供が各所で進められているが、現状の3Dアバターは、あらかじめ用意しておいたCGキャラクタ（アニメのような人や動物など）が用いられることが多く、コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていない。例えば、現状のアバターでは目のランダムな瞬きや発話に合わせた口の開閉（リップシンク）程度は表現できているものの、目元・瞼・視線・眉・口元・頬等の微細な変化の忠実な再現はできていない。一方、本人のフォトリアリスティックな3Dモデルを構築するためには、これまで多数のカメラを装備した大規模な設備や特殊なセンサ（奥行き・位置センサ等）を用いる必要があり、カメラ1台だけを用いて、本人の細やかな表情や動作を3D空間に再現することは困難であった。今回、当研究室では、自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し、本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現することを可能にするREXR技術の開発を行った。・REXR技術の構成と処理過程REXR技術は、本人の身体の3Dモデル、顔の表情、身体姿勢をカメラの映像から再構築するための複数のAIモジュール（機械学習により獲得されたニューラルネットワーク）から構成されている。まず、カメラ（Webカ3.4.4先進的リアリティ技術総合研究室室長（兼務） 内元 清貴ほか3名空間・時間・身体の制約を超えたコミュニケーションの実現
元のページ ../index.html#104