ル化・モデル化し、仮想環境の中で利用していく（上から下への）流れである。実世界のデジタルツインの構築・活用により実環境と同等の活動が仮想環境においても可能になると期待される。それに対し、仮想環境の情報を実環境の中にシームレスに融合していく（下から上への）流れもある。シームレス化の手法としては、AR（拡張現実）／MR（複合現実）の利用やプロジェクション映像の実空間への重畳等も考えられる。一方、ユーザが遠隔から実世界に対し直接的に働きかけるためには、遠隔操作型アバター・ロボット等のアクチュエータ（ハードウェア）が必要となる。それらを自分の身体の延長として直感的に操作可能にするためには、実環境から多感覚（感触／音響／映像等）のフィードバック情報をユーザに適切に与える必要がある。「脳」が実空間における様々な活動で獲得した「身体性」を壊すことなく、新たなバーチャル・リアル融合世界においても自然かつ直感的な活動を可能にするインタフェースの実現が求められる。当研究室では、このような世界の実現に向けた研究開発を進めていきたいと考えている。4.2リアルで表情豊かな3Dアバターの構築・再現技術REXR本節では、当研究室で研究開発を進めている3Dアバターの構築・再現技術について概説する[31][32]。現状のオンライン会議では、全員が別々のフレームの中で正面を向いているため、誰が誰に対してどのような気持ちを持っているのかが掴つかめず、親近感・共感・信頼関係などを形成するのが困難である。一方、実空間でのコミュニケーションにおいては、人々は3次元空間の中で向き合っており、表情・視線・動作・姿勢等の非言語情報を用いて互いの気持ちを自然に伝え合うことが可能で、その結果、相互理解を深めることができる。そこで、遠隔であっても実空間のような自然かつ親密なコミュニケーションを実現するために、当研究室では仮想空間を共有して本人の細やかな表情や動作を伝え合うことができる3Dアバターの構築・再現技術REXR（Realistic and EXpressive 3D avataR：レクサー）の研究開発を進めている。REXRには3つの特徴がある。第一は、本人の細やかな顔の表情・視線・ジェスチャを入力映像と同程度に精細に3Dアバターで再現可能である点である。これに対し、現状、商用化されているアバターの顔の変化は、ランダムな瞬きやリップシンク（音声に合わせた口の開閉）程度であり、刻々と変化する本人の細やかな表情は十分に再現できてはいない。第二は、多数のカメラや特殊なセンサは不要で、Webカメラ1台の映像だけから3Dアバターを構築できる点である。一方、現状、本人の3Dアバターを構築するには、数十台から数百台のカメラを設置したスタジオや特殊な奥行き／位置センサ等が通常必要であり、一般ユーザがこれらを日常生活で利用することは難しい。第三は、構築した3Dアバターを仮想空間内の任意の位置・向きに配置して表情・動作・姿勢を滑らかな動きで自在に再現できる点である。単に身体全体の向きが変えられるだけでなく、各関節を動かして異なる動作や姿勢を取らせることも可能であり、将来の応用範囲は広い。REXRを用いて正面のWebカメラの映像だけから本人のリアルな3Dアバターを構築・再現した例を図3に示す。入力の2D映像だけから、細やかな顔の表情やジェスチャが3Dアバターで再現され、任意の方向から表示可能であることが分かる。さらに図4では、本人が表出する怒り、嫌悪、驚き、ほほ笑みなどの多様な感情も3Dアバターの表情で様々な方向から豊かに再現可能であることを示している。このような諸機能がWebカメラ1台の映像だけから達成できるのは、複数のAIモジュール（ヒトに関する知識を機械学習により獲得したニューラルネットワーク）を連動させて用いているからである。すなわち、REXRは、本人の身体の基本モデル、顔の表情、身体の姿勢を映像から再構築するためのAIから構成されている。具体的には、REXRは2つのステップから成り立っており、Step1では、Webカメラの前で自ら一回転し異なる方向から身体の2D映像を取得し、そ⼊⼒映像細やかな表情/ジェスチャを再現し、異なる視点から表⽰図3 REXRで構築・再現された本人のリアルで表情豊かな3Dアバター1012-5 実在感を伴う遠隔コミュニケーションの探究とその基盤技術の研究開発
元のページ ../index.html#107