ナ禍のような感染症拡大や震災などの自然災害により人々の移動の制約が生じても、サイバー空間を通じて平時と同等の活動を維持可能になれば、経済的・社会的ダメージを最小限に食い止められる可能性がある。もう一つは、労働生産性の飛躍的向上である。我が国をはじめ多くの先進国では、少子高齢化が急速に進み、労働人口の減少による経済・社会の弱体化の危機に直面している。アバターを活用することで一人ひとりの労働生産性を向上できれば、たとえ労働人口が減少しても社会全体の維持・発展が見込めるとともに、親の遠隔介護、子育て、地域活動を行いながらの遠隔就労も可能になり、ライフワークバランスの充実も期待できる。NICTではこのような未来社会の構築に向けた研究開発を積極的に進めるために、2021年4月、先進的リアリティ技術総合研究室を起ち上げた。当研究室では、空間・時間・身体の制約を超えたコミュニケーションの実現を目指して、実世界のノンバーバルな情報や多感覚の情報を遠隔の人々に伝えることで相互理解を深め人々のインタラクティブな活動を促進するための技術開発を実施している。本稿の2では、まず当研究室で進めているリアリティ（実在感）を対象とした研究の基本的アプローチについて述べる。次に、現在の研究は前身となる研究室・研究グループにおいて実施してきた研究開発の蓄積を踏まえて実施しているため、3においては、これまでの取組と主な成果について概説する。特に、視覚、聴覚、体性感覚、嗅覚等、ヒトの多感覚認知メカニズムとクロスモーダル知覚に関する研究及び超臨場感コミュニケーションの実現に向けて実施してきた技術開発について述べる。4では、現中長期計画で実施している研究の狙いとこれまでに得られた主な成果について紹介する。本節では、まず我々が提案する実世界と仮想世界の融合の枠組みについて概説した後、現在進めているリアルで表情豊かな3Dアバターの構築・再現技術に関する研究開発について述べる。5では、今後期待されるこれらの技術の活用領域と将来の応用展開について述べる。最後に、6で本稿をまとめる。リアリティ研究のアプローチ先進的リアリティ技術総合研究室では、空間・時間・身体の制約を超えたコミュニケーションの実現を目指して、実世界の人や環境をデジタル化してサイバー空間に再構築し、それらを多感覚の情報で遠隔の人に伝えることにより、人々の相互理解の深化とインタラクティブな活動の促進を図る研究開発を進めている。このような実世界の情報の取得・伝達・再現を実現するための研究開発においては、3つの研究手法を統合しながら進めるアプローチが重要と考える（図1）。第一は、ヒトが多感覚の情報から感じるリアリティ（実在感）の本質をヒトの行動解析や脳機能イメージングにより深く探る研究である。第二は、実世界の人・環境をモデル化し対象の理解や拡張を図るための人工知能（AI）の研究開発である。第三は、遠隔の人々にそれらを映像・音響・感触など多感覚の情報でリアルかつ自然に伝えるXR（VR/AR/MR）インタフェース技術の研究開発である。第一の「ヒトの行動解析・脳機能イメージング」においては、ヒトはどのような情報からリアリティ（実在2図1 リアリティ（実在感）の取得・伝達・再現を目指した研究開発のアプローチXXRR ((VVRR,, AARR,, MMRR))テテレレププレレゼゼンンススイインンタタフフェェーースス技技術術人人工工知知能能（（AAII））技技術術行行動動解解析析・・脳脳機機能能イイメメーージジンンググママルルチチモモーーダダルル深深層層学学習習多多感感覚覚イインンタタララククシショョンン（（触触覚覚、、視視覚覚、、聴聴覚覚ななどど））遠遠隔隔ココミミュュニニケケーーシショョンンククロロススモモーーダダルル知知覚覚人人・・物物のの33DD再再構構築築とと自自然然シシーーンンのの理理解解空空間間・・時時間間・・身身体体のの制制約約をを超超ええたた““リリアアリリテティィ””のの伝伝達達96 情報通信研究機構研究報告 Vol.68 No.2 （2022）2 多言語コミュニケーション技術
元のページ ../index.html#102