臨場感を定量的に評価する

―超臨場感を実現するためにどのような研究をされているか、お話しください。

安藤 超臨場感の研究では、人間がどういうふうに臨場感を感じているのかを客観的に、また定量的に評価していくことが重要で、私は特にこの研究について担当しています。

―どのような方法で測定するのでしょうか。

安藤 ヒトを被験者にして実験的に調べていくわけですが、そのとき2つの方法があります。1つはfMRI（機能的磁気共鳴画像法）等で脳活動を直接見る方法です。もう1つは心理物理学的手法と呼んでいますが、被験者にいろいろな物理条件を与えてどのような反応をしたか、そのときの行動データを取るという方法です。

実験データをシステム開発に反映

―そもそも、臨場感とはどのようなものなのですか。

安藤 一言で臨場感といっても、実はいろいろな感覚の集合体であるわけです。私たちのところではそれを3つの要素に分けています。1つ目は立体感、質感、包囲感と呼ばれる空間的な要素、2つ目はものの動感や同期している感覚といった時間的な要素です。3つ目は身体的な要素で、自分自身がそこにいるように感じる自己存在感やインタラクティブ感のようなものがあり、さらにそこに情感も伴ってくるわけです。ですから1つ1つ、どの臨場感を調べようとしているのかということを明確にしておかないと混乱してくることになります。

―臨場感を感じる脳自体の問題もあるのではないですか。

安藤 そのとおりです。人間は外から入ってくる情報を統合して感じているのですが、それだけではなく、頭の中にいろいろな経験で学習して蓄積された記憶があって、それに当てはめながら物事を理解していくわけです。当然、記憶というものは個人ごとに違います。外から入ってくる情報と頭の中で個人の記憶に基づき作り出されるイメージが相まって臨場感というものが生まれてくるので、両方を調べなければいけません。

―実験データは集まっているのですか。

安藤 はい、たくさん集まってきています。被験者数は延べでいうと何百人にもなります。

―次の段階としてはデータをシステム開発にどう反映させるかということになりますね。

安藤 システムにとって何が最適かというデータを出していかなくてはいけませんが、同時に、人間が違和感をおぼえない許容範囲を決めないとシステムは作れません。最近は、映像のクオリティを変えてどの程度まで人間が自然に感じるかというデータを取っています。こうした実験を積み重ねてシステム側に反映させていくことになります。

多感覚インタラクションシステムを開発

―これまでの研究の応用例はありますか。

安藤 触覚に関する行動的なデータを取る装置に力学提示デバイスというものがあります。これは力を出す装置で、ロボットアームのようなものの先についたペンで対象を触ると、モーターがはたらいて力のフィードバックが加わるというものです。これと立体映像を組み合わせた「多感覚インタラクションシステム」というものを開発しました。今、デモシステムとして見ていただいているのは、高松塚古墳から出土し、国の重要文化財として指定されている海獣葡萄鏡の立体映像、感触、音響をリアルに再現したものです。立体視用の眼鏡をかけることで、あたかも目の前に実物が存在するかのように感じます。

―ユーザはこれをどのように体験するのですか。

安藤 手元に浮かび上がっている立体映像にペンで触ることができるのですが、触った時に音もでます。人間はたたいた音とか擦った音からも物の材質を感じていますので、リアリティを上げるためには、触ったときの音は重要です。また、ペンで鏡を回転させて裏を見ようとすると、重さも感じることができます。錆びている状態も忠実に表現されていますし、拡大して細かいところを見ることもできます。また、バーチャルな映像ですので、鋳造直後の鏡のように、金色に輝いていた状態を一瞬で再現することもできます。このようなシステムを使えば、普段はガラスケースごしに見るしかない重要文化財を自由に触って体験してもらうことができます。

―いろいろな応用例が考えられそうですね。

安藤 こういう貴重な体験というものは教育などに応用できると思いますが、それ以外にも、医療分野で手術のシミュレーションをするとか、質感を感じながら商品開発を行うとか、もっと将来的には、例えばインターネットショッピングも写真や映像だけではなく、肌触りとか手触りを確認した上で商品を購入することができるかもしれません。いろいろな方向性を考えているところです。

―研究の今後の見通しはどうですか。

安藤 現在の5年のプロジェクトが終わる2年半後くらいまでに、人間や脳のことがすべてわかるとはとても言えません。残された問題を吟味して更に次の戦略を練っていかないといけません。特に人間が頭の中で作り出している感性といったものとの関係が、大きなテーマになってくるだろうと思っています。