HTML5 Webook

12/102

さらに私たちはこの符号化モデルを用いて、word2vecベクター空間自体から定量化した言語意味表現と、それをモデルにより変換した脳内意味表現を対比し、脳内意味表現の特性について分析を行った[12]。この分析では、word2vecベクター空間に含まれる10万単語を意味的な類似性に基づき47個の意味グループに分け、各グループの言語表現及び脳内表現を算出した。そして、特定の表現系における要素間の類似性・非類似性を定量化する階層クラスタリングと呼ばれる手法を適用して、言語表現及び脳内表現における意味グループ間の類似関係の構造を可視化した。図3は意味グループの脳内表現の構造を示す。図中のラベルが意味グループを表す。木構造では、低い枝で連結した近接する意味グループほど表現が近く、高い枝で連結した離れた意味グループほど表現が遠いことを表す。図中上部から下部に向けて、人間的・個人的・主観的な意味グループから、非人間的・社会的・客観的な意味グループへの連続的変化が見られる。このような傾向は意味グループの言語表現では見られなかった。すなわち、言語意味表現と対比して、脳内意味表現では人間あるいは自己に関連する意味を基準とした、連続性をもつ意味表現の構造を有することが示唆された。このような自己を基準とする意味表現構造は、自己から外界・他者へと世界認識が広がっていくヒトの発達過程との対照を考えるうえでも興味深い。私たちが各個人で定量化した脳内意味表現には、個人間の差異が存在する。この個人差は、世界を意味的に解釈するうえでの個性を反映すると考える。私たちは、今後このような脳内意味表現の個人差に着目し、個性の形成に関わる神経基盤を明らかにしたいと考えている。また、京都大学医学部精神科と共同で、意味認知の変容をもたらす精神疾患において、脳内意味表現を定量化することによる疾患の理解と治療を目的とした取組も行っている。2.2意味認知内容の解読世界からヒトが受容する情報は絶えず変化しており、ヒトが認知する意味情報は刻一刻と移り変わる。そのような意味認知内容を脳情報から解読できれば、ヒト−機械インターフェースや非言語コミュニケーションといった次世代の情報通信技術に応用できる。言語特徴を用いた逆符号化モデリングは、そのような意味認知内容の解読に利用可能な優れた技術基盤を提供する。私たちは、脳活動から意味認知内容を言葉の形で解読することを目的として、word2vecベクター空間を用いた逆符号化モデルの構築を行った（図4）[3]。このモデルでも同様に、自然動画が誘発する大脳皮質のfMRI応答と、同じ動画に対するシーン記述をword2vecベクター空間に投射したシーンベクターを利用した。ただし、符号化モデルとは逆に、全皮質ボクセルのfMRI応答の時系列を説明変数として、シーンベクターの時系列を予測するモデルを線形回帰により学習した。さらに、word2vecベクター空間上において、予測したシーンベクターに対する1万語分の各単語ベクターの距離を計算し、距離が近いほど意味認知内容を強く反映する単語とみなして、単語による意味認知内容の推定を行った。このモデルを用いて、新規の動画を視聴中のfMRI応答から、単一のシーンに対して単語の形で意味認知内容の推定を行った結果を図5に示す。図中では、左のシーンを観察中の脳活動を解読し、1万語の単語の中から意味認知内容を反映すると推定された上位7単語を、名詞・動詞・形容詞に分けて表示している。名詞は物体、動詞は行動、形容詞は印象の意味認知内容図3　意味グループの脳内表現を表す木構造8　　　情報通信研究機構研究報告 Vol. 64 No. 1 （2018）2　脳情報デコーディング技術