HTML5 Webook

10/102

被験者の脳活動をfMRI等によって全脳にわたって連続的に撮像（記録）する。近年開発されたSimultane-ous multi-slice （SMS）法等の高速撮像手法を用いると、例えば2 mm角の解像度で毎秒1ボリュームの全脳活動を3次元的に撮像することができる。このような記録を（休憩を入れながら）3時間程度にわたって行うとすると、約6～8万の空間点（ヒト大人の全脳の場合）について約1万の時間サンプルといった大規模な時空間データを得ることができる。こうして得られた脳活動データは、そのまま観察する限りではほとんどノイズにしか見えない（図１右： 赤青の色が活動強度を示す）ものであり、体験内容（動画そのもの、あるいはそれが誘起する知覚・認知内容）が何らかの形で反映された暗号のようなものと考えることができる。私たちの研究は、このようなデータからヒトの体験内容と脳活動の間の隠れた関係性を解読する（両者の関係を説明する定量的な予測モデルを構築する）ことにある。体験内容と脳活動というペアとなった時空間データの関係性を調べるには、2つの方向性を持ったモデルを考えることができる[6]。1つは、体験内容のどのような特徴が脳活動として符号化されているかを調べる符号化（エンコード）モデルである（図1）。これは、脳が情報をどのように表現しているかを直接的に検証する手段の1つである[1][2]。また、符号化モデルは脳と同じ働きをする（脳の振る舞いを予測する）言わば人工脳モデルであることから、同モデルの構築は脳に近い振る舞いを示すシステムを実現するための基盤技術としても注目を集めている[7]。もう1つは、特定の脳活動パターンが計測されたときにそれがどのような体験内容を意味するのかを推定する、逆符号化（デコード）モデルである。これは、脳活動がどのような情報を表現しているかを調べるもう1つの手法であると同時に、脳活動から被験者が何を感じて／考えていたかを推定する、言わば脳解読機ととらえることができる。このことから、逆符号化モデルはいわゆる脳・機械インターフェース（Brain Machine Inter-face： BMI）を実現するための数理的基盤としても注目を集めている。上記の符号化・逆符号化モデルを構成するに当たり、体験内容のどのような側面に着目するかによって、多様な情報表現に関する検証を行うことが可能になる。これは、例えば同じ視覚入力があったとしても、私たちがそれを様々なレベル（映像、物体、印象、…）で記述することができることに対応する。例えば映像特徴としては、色や動き、テクスチャ等の記述があり得るが、これらは各種の画像特徴フィルタや畳み込みニューラルネットワーク（Convolutional Neural Net-work： CNN）における中間層の活動パターン等として定量化することができる。体験内容（映像）をこのような特徴が張る空間（特徴空間）上の点ととらえると、上記のモデル化は脳活動パターンが張る空間と特徴空間の間の投射関係を求めることに帰着できる。同様にして、「建物」「話す」「かわいい」といった言葉で表現できる意味内容や印象等については、自然言語処理由来の特徴空間（次項で詳述）を用いることで定量的に扱うことが可能となる。また、本稿では詳しくは扱わないが、同様の特徴空間を用いた枠組みは、視覚や聴覚だけでなく味覚や嗅覚、運動、また情動や言語、想起といったより高次の認知情報にも同様に適用することが可能である[1][2][6]。これらの様々な特徴空間やそれらの組合せを利用したモデルが任意の新規体験内容と脳活動の関係を説明（予測）することができるなら、そこで用いた特徴空間は脳内における情報表現を何らかの形で反映したものと推定することができる。ここ図1　脳情報モデル構築の概念図6　　　情報通信研究機構研究報告 Vol. 64 No. 1 （2018）2　脳情報デコーディング技術