プは、それぞれの単語に対応する意味情報が、互いにどのような類似関係を持って脳内で表現されているかを可視化する。そのため、脳内における意味情報の表現特性に関する研究に応用できる。3.2 脳内意味マップによる意味認知の反映ただし、単語埋め込み特徴のような意味特徴を用いた符号化モデルで定量化した脳内意味マップが、実際に人間の意味認知を反映しているか、従来研究では検証されてこなかった。この検証は、脳内意味マップを用いた意味認知に関する従来及び今後の研究の妥当性を担保する上で重要である。そこで我々のグループは、脳内意味マップで評価された意味情報の関係性と、人間の認知判断により評価した意味情報の関係性の間に一貫性があるか、厳密な分析を行った[15]。分析の概要を図4に示す。まず、3.1で紹介した研究と同様の方法で、単語埋め込み特徴を用いた符号化モデルを構築した。そして、定量化した脳内意味マップ上で60個の名詞と60個の形容詞の表現を獲得し、単語間の非類似度により関係性を評価した。一方で、同じ名詞と形容詞を意味的な非類似度に基づいて並べ替える心理実験を実施し、人間の認知判断における単語間の関係性も評価した。そして、単語間の関係性が、脳内意味マップによる評価と認知判断による評価の間で一貫するか、相関分析により調べた。結果として、統計学的に有意な相関が確認された。この結果は、単語埋め込み特徴を用いた符号化モデルで定量化した脳内意味マップが、人間の意味認知を反映することを示している。また同時に、単語埋め込み特徴を用いた符号化モデルは、それ以外の意味特徴を用いた従来の符号化モデル[9]に比べて、脳内意味マップが人間の意味認知と高い一貫性を示すことも分かった。つまり、単語埋め込み特徴を用いた符号化モデルは、脳内意味情報を定量化する上で、より有効に機能することを示唆している。脳活動から認知内容を読み取る脳解読脳活動から、特徴量化された認知内容への変換過程を定量化する復号化モデルは、脳活動から認知内容を読み取る脳解読に利用できる[5]。符号化モデルと同様に、特徴空間の置換によって様々な認知内容に関する復号化モデルを作成可能だが、特に意味特徴を使った復号化モデルの研究が盛んである[11][14][27]–[30]。なぜなら、そのような復号化モデルは、解釈しやすい単語や文の形で認知内容を可視化でき、科学研究と社会応用のいずれにおいても利用価値が高いからである。我々のグループも、自然言語処理技術の特徴空間を用いた復号化モデルを基に、脳活動から意味認知内容を単語や文の形で読み取る脳解読技術の開発に成功した。本節ではその研究成果について紹介する。4.1 単語の形での意味認知内容の脳解読まず我々のグループは、映像がもたらす認知内容を単語の形で読み取る脳解読技術を開発するため、符号化モデルと同様に単語埋め込み特徴を用いた復号化モデルを構築した[14]。符号化モデルでは数万単語を用いて脳内意味マップを可視化できたが、復号化モデルの場合は数万単語を用いて映像がもたらす意味認知内容を解読できる。これにより、自然な映像がもたらす複雑な意味認知内容を、詳細に読み取って可視化できる。図5に、単語埋め込み特徴を用いた復号化モデルの概要を示す。ここでも大規模テキストデータから事前学習したword2vecの特徴空間を利用する。映像の意味内容をシーン記述文として評価し、word2vec特徴空間上の表現に変換しておく。そして、fMRIで計測した同映像に対する脳活動から、特徴表現を予測する線形回帰モデルとして復号化モデルを構築する（符号化モデルのときと説明変数・目的変数の関係が逆転している点に注意）。この復号化モデルを用いて、新しい映像シーンに対4図4 脳内意味マップと意味認知の一貫性に関する分析14 情報通信研究機構研究報告 Vol.68 No.1 （2022）3 ICTの最適化のための脳情報通信技術
元のページ ../index.html#18