1293●フロンティアサイエンス分野変性と、音声と文字で異なる入力があるとき一方を優先し、他方を無視する注意選択性の両方を持つ。しかし、その脳内基盤が重なるのか、別々にあるのかは不明であった。本年度実施した研究では、視覚、聴覚、視聴覚注意時のfMRI計測を行って各モダリティの意味特徴エンコーディングモデルを作成し、モダリティ不変性と注意選択性の脳領域を同定した。その結果、両者が一部重なることを示した（図3）。重なりは図3中では白色部分に対応する。本研究では、マルチモーダル情報処理という重要なプロセスにおける論争に解決を与えた。また、MIT-IBM主催の脳活動予測コンテストにおいて世界の73チーム中の3位となる成果を収めた。個人差を含めた脳情報処理をモデル化する技術と、脳モデルと脳情報以外の情報を用いて簡易的に脳情報処理を推定する研究開発も実施した（図4）。図4は、被験者の脳情報モデルと質問紙に対する答えを融合した研究を説明している。まず、各被験者のペアに対する、脳情報モデル間の距離行列と質問紙への回答の距離行列をそれぞれ作成する。次に、回答距離行列から脳モデル距離行列を予測する機械学習モデルを作成した。この時に、質問紙の属性選択を行ったところ10程度の質問項目から予測が可能であり、予測された脳モデル距離行列の要素と実際の値の相関係数で0.6程度の精度を得た。これらの結果は、脳情報以外の情報から脳情報処理プロセスが推定できる可能性を示す成果であり、将来のAIに脳型情報処理の知見を簡便に導入できる可能性を示唆する。ABCD図2向自己的な行動選択と反応時間を生む脳メカニズム A 最後通牒ゲーム 10秒以内に様々な分配提案の受入／拒否を決定 B 不平等／報酬から行動と反応時間を決める拡散モデル C 不平等があっても提案を受入れる人は前帯状回が扁桃体の不平等に対する活動を抑制 D 帯状回-扁桃体ネットワークの結合パターンが反応時間を予測図3言語認知に関する視聴覚モダリティ不変性（赤）と注意依存性（青）の脳内統合（白）図4知覚・認知内容の個人差を反映する脳融合人工知能（AI）映像視聴時の意味知覚を、脳活動から解読した結果と、アンケート結果を融合したAIが推定した結果において、個人差に高い相関関係が存在する。脳解読結果の個人差脳融合AIの推定結果の個人差脳解読脳融合AI時間脳融合AI時間モデル作成3.5.3 脳情報通信融合研究センター
元のページ ../index.html#137