グループは世界に先駆けて、計算機上で再現された脳（人工脳）の実現を目指し、脳情報処理を数理モデルによりシミュレートする技術の開発に取り組んでいる。本節では、その研究開発における成果を紹介する。5.1 脳情報処理シミュレータ 2において、符号化モデルは感覚入力から脳活動への変換過程、復号化モデルは脳活動から認知内容への変換過程をモデル化すると述べた。したがって、符号化・復号化モデルを合わせれば、感覚入力から認知内容が生成される脳情報処理がモデル化できる。そこで我々のグループは、日常に近い自然な映像から脳活動を予測する符号化モデルと、予測した脳活動から様々な認知内容を推定する復号化モデルを組み合わせ、映像入力から認知内容を生成する脳情報処理シミュレータを開発した[16]。図7に脳情報処理シミュレータの概要図を示す。符号化モデルは映像入力が脳活動を引き起こす過程における視聴覚情報の脳内処理をシミュレートする。符号化モデルの特徴空間は、自然な映像に含まれる様々なレベルの視聴覚特徴を適切に抽出する必要があるため、そのような用途に長けた、視覚情報と聴覚情報のそれぞれを扱う深層ニューラルネットの特徴空間を採用した。一方、復号化モデルは脳活動から認知内容が生起する過程の脳内処理をシミュレートする。脳情報処理シミュレータの復号化モデルは、符号化モデルで予測した映像に対する脳活動から、映像に紐付いた認知内容を読み取るように実装する。日常環境に近い自然な映像は多様な認知を生じさせるため、映像に紐付いた認知内容（例：意味、印象、選好）を反映する様々なラベル（認知ラベル）を収集しておき、異なる認知ラベルごとに独立した復号化モデルを構築する。重要なのは、符号化モデルの学習時のみfMRIで計測した脳活動が必要な点であり、学習完了後は追加の脳計測を全く必要としない。また、復号化モデルも符号化モデルで予測した脳活動を利用するため、脳計測は不要である。このようにして、脳活動の計測を要さず、計算機上で任意の映像入力から認知内容を出力する脳情報処理シミュレータが構築される。5.2 シミュレータによる認知内容の推定我々のグループは、この脳情報処理シミュレータを、Web広告映像及びテレビ広告映像に対する様々な認知ラベルの推定に適用して精度を評価した[16]。そして、深層ニューラルネットのみで認知ラベルを推定したときの精度と比較した。その結果、図8（a）に示すWeb広告映像の再生完了率（大量のWebアクセスから収集した、広告映像をスキップせずに最後まで再生したユーザの割合）や、図8（b）に示すテレビ広告映像の図7 脳情報処理シミュレータ図8 認知ラベル推定における精度比較16 情報通信研究機構研究報告 Vol.68 No.1 （2022）3 ICTの最適化のための脳情報通信技術
元のページ ../index.html#20