ブックタイトル情報通信研究機構年報

概要

情報通信研究機構年報

573創る●データ利活用基盤分野3.5　脳情報通信融合研究センターの上段は視覚刺激下で視覚野の活動をとらえた高分解能fMRI画像、中段はそれに心拍の情報を加味したもの、下段は呼吸の情報を加味したものである。心拍や呼吸の影響を排除することで、脳活動を示唆する信号をより高感度に検出することが可能となった。社会のグローバル化に伴い、グローバルなコミュニケーション力を向上させるためには、英語能力の向上が重要な課題となっている。英語のリスニングにおいて、日本人の困難の1 つが日本語にない音の聞き分け（例えば、rightとlightの違い）である。これまでの英単語のリスニングの学習は、聞いた音（例えば、rightもしくはlight）に対してどちらの音であるかテストを行い、それが正解か不正解かを学習者に伝えて学習を促す場合が多いが、このような学習では、時間がかかるという問題があった。そこで、音の違いに対して反応する脳活動（Mismatch Negativity：MMN） を強化するニューロフィードバックトレーニング技術を開発し（図3 ）、5日間程度の学習で英単語のリスニング能力が向上することを明らかにした。最近、個人の習熟度や能力に合わせて学習内容を最適化するアダプティブラーニングが注目されている。英語学習において効果的なアダプティブラーニングを実現するためには、個人の英語力を詳細に多面的に評価することが不可欠である。当研究室では脳波を指標として、個人の英語力を評価する技術の研究を進めている。本年度は、脳波を利用した英語の語彙力の評価法の確立に向け、様々な英語習熟度の被験者約90名を対象とした大規模な脳波実験を行った。絵と合致する英語音声に対する脳波と合致しない英語音声に対する脳波の差分（N400）を指標としたところ、N400の大きさは独自に開発したリスニングテストのスコアと有意な相関を示した（図4 ）。また、「知っている」と答えた英単語に対するN400は、英語の習熟度によってその大きさや出現時間が異なることから、N400は英単語の定着度を定量的に評価するための有効な指標になると考えられる。視覚・聴覚・触覚・嗅覚・味覚といった多感覚の情報を自然かつリアルに伝達・再現する技術の実現が期待されている。多感覚情報の伝達が可能になれば、遠隔からの作業・対話・医療・教育等が促進され、その社会への波及効果は大きい。違和感のない多感覚情報の伝達を達成するには、脳の中枢神経系における感覚統合メカニズムに即した情報提示が重要となる。当研究室では、VR/AR技術を開発・活用し、ヒトのクロスモダリティ（感覚間相互作用）の仕組みを解明・応用する研究を進めている。平成28年度は、聴覚と触覚の相互作用に関する実験結果を取りまとめ、その成果がPLoS ONE（Liu andAndo, 2016；11（11）：e0167023）に掲載された。この実験では、力覚提示装置を用いた硬さ知覚の心理物理解析を行い、接触音の違いにより手で感じる表面の硬さが変わることを実証した。さらに、接触音だけから感じる硬さが物のカテゴリ知覚に依存するに対し、手で感じる硬さは音の物理特性（周波数・減衰係数）に強く依存することが示された。図5 は、音からのカテゴリ知覚（金属、太鼓）が一定に保たれるように音の周波数と減衰係数を変調させた（ 1：変調前、2：変調後）ところ、接触音だけからの硬さはカテゴリ知覚に影響されるが、手で感じる硬さは音の物理特性に影響されることを示している。よって、金属より太鼓の方が硬いと手に錯覚させることも可能となる。本成果は、将来、効果的なVR/ARの設計指針として活用されることが期待される。図3　ニューロフィードバックトレーニングの概略図MMNの大きさを緑の丸の大きさに対応させ、実験参加者は緑の丸を大きくするようにイメージすることで、MMNを強化する。視覚フィードバック脳波解析結果light light right light音は聞くだけMMNが小さい時MMNが大きい時緑の円を大きく提示緑の円を小さく提示緑の円を大きくすることだけをイメージlight図4　脳波とリスニングスコアの有意な相関020406080100120140160180200-1.5 -0.5 0.5 1.5 2.5N400効果Listening得点図5　聴覚と触覚のクロスモダリティ