HTML5 Webook

47/102

感覚インタラクションシステム（MSenS）”の開発に取り組んできた（図7）。このシステムを用いると、あたかも手元に実物があるかのように、仮想物体の立体映像に触れて、その感触、接触音、香りをリアルかつ自然に体験することができる。これまで、このシステムの社会展開を図るために、国の重要文化財の再現等、通常触れることのできない貴重な文化財等の体験デモ展示を数多く実施してきた[9]。ヒトは、感触に加えて、物に触れたときに生じる音からも物の実在性を感じている。そこで、仮想の物体に触れたときにもリアルな接触音を生じさせるために、実際の接触音を収録・解析し、その振動体特性を多数の正弦波モードのパラメータ値として記述、操作時の反力の計測値とこの音特性のパラメータ値を掛け合わせることで、ユーザの動作に合わせた多様な接触音を生成する手法を開発した[10]。この手法により、物に触れてから音が生じる遅延時間をほとんど感じさせることなく、自然なインタラクションが可能となった。ヒトは物に触れたときの接触音から物の特性（硬さ・ざらつき等）を感じるが、このとき音は手の感触自体を変化させているのであろうか。このような体性感覚と聴覚のクロスモーダル効果を探るために、上記の多感覚インタラクションシステムを用いて、接触音が表面の剛性（硬さ）知覚に与える影響を検証する心理物理実験を行った[11]。この実験では、被験者は接触音が生じる物体表面を触って剛性を確認した後、接触音の無い表面を触り、先の表面と同じ剛性になるようキー押しで調整を行った。接触音に関しては、音無（統制条件）、金属音、木の音、太鼓音の4条件を設定した。実験の結果、図8が示すように、知覚された剛性は、図7　多感覚インタラクションシステム（MSenS）左：バーチャルな立体映像を力覚提示装置のスタイラスで触れると物の感触とともに接触音や香りを体験できる。中：レーザスキャナによる物体の3次元構造計測。右：国の重要文化財「海獣葡萄鏡」の再現と多感覚体験の様子。図8　異なる音が物の剛性（硬さ）知覚に与える効果硬い表面に対しては、手に同じ力覚を与えても、金属音・木の音を付与すると太鼓音を付与する場合や無音と比較して表面の剛性が高いと知覚されることを示している。435-1　多感覚情報処理の脳・認知メカニズムの解明とその応用