解くための核となる技術として期待されている。触覚に関しては、体性感覚と聴覚のクロスモーダル効果に関して、接触音が物体表面の剛性（硬さ）知覚に与える影響を心理物理実験により実証するとともに、音と感触に基づく硬さ判断においては、音の材質カテゴリではなく低次の音響特性（周波数・減衰特性）がより強く影響することを明らかにした[24]。また、視覚と触覚に基づいて身体近傍空間に位置する物体形状を認知する仕組みを行動実験により解析し、異種感覚情報は最終判断を行う感覚モダリティにおいて照合されることを明らかにした[25]。このような触覚に関わるクロスモーダル知覚の特性を活用することにより、将来、医療や遠隔作業等の分野において自然なインタラクション操作が可能になると期待される。嗅覚に関しては、香りが感触知覚（物体表面の硬さ・ざらつき知覚）に与えるクロスモーダル効果を心理物理実験により実証するとともに、嗅覚情報が視覚的動きの知覚にも影響することを心理物理実験とfMRI実験により示した[26]。また、頭の中だけで行った純粋なメンタル課題（自伝的記憶の想起）を全脳のfMRIデータに対する機械学習に基づいて高い精度で推定可能であることを示し、その脳内機序を明らかにした[27]。このような脳活動に基づく心的推定は、将来の高齢者・障害者支援に特に有用であると考える。さらに、MR（mixed reality：複合現実）テレプレゼンス技術を開発し、その心理的効果を検証した[28][29]。この技術は、人の3D形状を奥行きセンサの情報から実時間で再構築して伝送し、遠隔の人がMRヘッドセットをかけて見ると3D伝送映像が実空間の中に重畳して知覚され、相手との会話も実時間で円滑にできるというものである。頭部位置のセンシングにより3次元空間内に3D映像を高精度で定位させて表示できるため、実空間での対面に近いコミュニケーションが可能となる。一方、本システムでは実空間とは異なり、伝送される映像のサイズ等に変調をかけることも可能になり、それによりユーザの心的状態（緊張感等）を調整できることをヒトの行動実験と生体情報解析により実証した。また、当研究グループはJST（科学技術推進機構）の地域発研究開発実証拠点プログラム「けいはんなリサーチコンプレックス（RC）（2015年12月～2020年3月）」を受託し、安藤副室長（当時）が研究推進リーダとして、企業29社、研究機関2機関、大学・高専11機関、団体・自治体5機関による研究開発全体の統括を行った[30]。本プログラムでは「i-Brain × ICT による「超快適」スマート社会の創出」をテーマに人間中心の技術イノベーションの創出を目指し、ウェアラブル心電計測デバイスを用いた乳幼児の生体リズム解析、快適性と省エネ効果を高度に実現する空調・五感統合制御システムの開発、潜在的な快適性を読み解く脳機能解析技術の開発等、15件以上の産学連携プロジェクトを創出・実施し、高い評価を得ることができた。現在の取組（2021年4月～）：第5期中長期計画 第5期中長期計画の期間（2021年4月～2026年3月）においては、ユニバーサルコミュニケーション研究所に先進的リアリティ技術総合研究室が発足し、リアリティ（実在感）の知覚認知の仕組みの解明とリアルとバーチャルの情報を高度に融合させる技術開発を進めている。今期は、前節で概説したこれまでの取組と成果を更に発展させて、遠隔地の人々とも円滑なインタラクションを実時間で行えるようにするための基盤技術の研究開発を行う。特に、現状のオンライン会議では十分に伝えられない非言語情報（表情・視線・ジェスチャ等）を効果的に伝え、複数の人々が3D仮想空間を共有して一体感のあるリモートの円卓会議を行えるようにするための基盤技術の研究開発を実施している。本研究では、本人のリアルで表情豊かな3DアバターをWebカメラ一台の映像から構築しリアルタイムでサイバー空間に再現する技術を開発するとともに、このアバター構築・再現技術とNICTで現在開発が進められている同時通訳システムを連動させることで、海外の人とも同じサイバー空間内でそれぞれの母国語を用いてコミュニケーションが行えるシステムの実現を目指している。また、ヒトの心理・行動・脳機能解析に基づく3Dアバターの視線・姿勢・表情再現の効果検証や共有仮想空間の設計に求められる技術要件の導出等を目指した研究開発を進める。さらに、モノや環境の情報をデジタル化し遠隔の人々ともこれらのサイバー空間を共有し、触覚を含む多感覚情報を用いたインタラクションを直感的に行えるようにするための研究開発も実施していく。4.1バーチャル・リアル融合の枠組み当研究室で目指しているバーチャル（仮想世界）・リアル（実世界）融合の枠組みを図2に示す。この枠組みでは、ユーザが用いる3Dアバター（分身）を2軸で分類している。縦軸は、実世界指向（Real World Oriented）vs. 仮想世界指向（Metaverse Oriented）を表す軸であり、横軸は不特定アバター（Unspecified Avatar）vs. 個人アバター（Personalized Avatar）を表す軸である。まず、これらの2軸で表現された4つの領域（Field）A、B、C、Dに特徴的なユーザ体験について概説する。4992-5 実在感を伴う遠隔コミュニケーションの探究とその基盤技術の研究開発
元のページ ../index.html#105