背景

ユニバーサルコミュニケーション研究所では超臨場感コミュニケーション技術に関する研究開発を進めています。この技術によって映像や音響をよりリアルに表現することができるようになれば、今まで実現できなかった、より臨場感のあるコミュニケーション（立体遠隔通信会議など）が可能になると期待されています。

これまでに200インチという大きな画面で、メガネなしに立体映像を見ることができる200インチ裸眼立体ディスプレイ（REI: Ray Emergent Imaging）を開発してきました（図1）。REIは約200視点の多視点映像が表示可能で、左右に動くと見る位置に応じて、また複数の人が同時に、自然な立体像を同時に観察できます。しかし、このディスプレイは視覚情報のみを提示するものであるため、同時に聴覚情報を提示するためにはREIに適した立体音響システムを開発する必要がありました。

図1　200インチ裸眼立体ディスプレイ（REI: Ray Emergent Imaging）の概観

立体音響システムに必要な技術要件

立体音響システムの開発には3つの技術要件があります。まず、200インチ裸眼立体ディスプレイ（REI）は複数の人が同時にメガネをかけずにどこで見ても立体物がそこにあるように見えることを最大の特徴としているため、「複数の人が同時にヘッドホンなどを付けずにどこで聞いても立体物から音が鳴っているように聞こえる」ことが1番目の技術要件になります。次に、REIは約200台のプロジェクターがスクリーンの後方から映像を投影している構造のため、スピーカーが映像投影の邪魔にならないように、「スクリーンの裏側にスピーカーを配置しない」ことが2番目の技術要件になります。最後に、REIは自然でリアルな立体映像を目指して開発しているため、それに合わせて「自然でリアルな音質を実現する」ことが3番目の技術要件になります。

新たに開発した立体音響システム（MVP方式）

従来から、音響の研究分野では様々な立体音響システムが開発されてきましたが、今までに開発されてきた立体音響システムの中で前述の3つの技術要件をすべて満たすものは1つもありませんでした。そこで、200インチ裸眼立体ディスプレイ（REI）に適した立体音響システムを開発するために、新たな方式のシステムを一から作り上げました。

図2に開発したシステムの基本構成を示します。まず、図2（a）に示すように、スクリーン上に描写された立体物（図2の場合、象）のうち、音が鳴っている位置（象の口）の上下に2個のスピーカーを配置します。そして、音源に音量差をつけて2個のスピーカーから音を再生すると（このことを「垂直パンニング」と言います）、見ている人は象の口の位置で音が鳴っていると感じるようになります。システム開発にあたって、REIのスクリーンの上下位置に2個のスピーカーを配置して垂直パンニングを実施したところ、2個のスピーカーの間で音が鳴っているように感じることを我々が初めて心理実験によって証明しました。

音が鳴っているのは象の口の位置の上下に配置した2個のスピーカーだけであり、このことは見ている人が左右に移動したときでも常に成立しています。従って、見ている人は（ヘッドホンなどを装着せずに）どこにいても常に象の口の位置で音が鳴っているように感じるようになります。また、2個のスピーカーだけが鳴っていることから、ステレオのような従来の音響システムと同じような音質も実現されています。

さらに、図2（b）に示すように、スクリーンの上下に複数のスピーカー対を配置し、それぞれのスピーカー対が垂直パンニングをすることによって、表現できる音の位置が上下方向だけでなく左右方向にも拡大できます。これにより、見ている人はどこにいても常にREIがスクリーン上に描写する立体物の位置で音が鳴っているように感じるようになります。垂直パンニングを行うスピーカー対を複数個用いることから、開発した方式のことを「複数垂直パンニング（Multiple Vertical Panning）」の英語の頭文字をとって「MVP方式」と名付けています。開発したMVP方式の性能を評価するために、立体映像とMVP方式の音を一緒に視聴させたうえで音の位置を判断させる視聴覚心理実験を実施しました。その結果、視聴者はどの場所で視聴しても立体物の位置で音が鳴っていると感じることが明らかとなり、MVP方式が有効であることが分かりました。

図2　開発した立体音響システム（MVP方式）の基本構成

今後の展望

現在、200インチ裸眼立体ディスプレイ（REI）をJR大阪駅北側のグランフロント大阪のナレッジキャピタル内The Lab.の3階において常設展示しており、立体音を伴ったコンテンツとしてバードウォッチングゲームも展示しています（図3）。また、この展示コンテンツを用いた臨場感評価実験も同時に実施しています。

今後は、さらに、開発したMVP方式の実用化に向けて、スピーカーの数を減らした場合の臨場感への影響を心理実験によって確認したり、遠隔地の音をリアルに伝える収音・伝送手法を開発するために必要となるマイクロフォンの数について検討していきます。

図3　バードウォッチングゲームの概観

	木村 敏幸（きむら としゆき） ユニバーサルコミュニケーション研究所 多感覚・評価研究室 研究員 大学院博士課程修了後、日本学術振興会特別研究員（PD）、名古屋大学研究員、東京農工大学特任助手を経て、2007年、NICTに入所。3Dシステム、空間知覚、アレイ信号処理に関する研究に従事。博士（学術）。
	安藤 広志（あんどう ひろし） ユニバーサルコミュニケーション研究所 多感覚・評価研究室 室長 大学院博士課程修了後、1992年、(株)国際電気通信基礎技術研究所（ATR）に入社、2011年まで認知ダイナミクス研究室室長。2006年よりNICTの超臨場感研究プロジェクトに参画。認知脳科学、多感覚情報処理技術の研究に従事。Ph.D.（計算神経科学）。

1311号_5-6p（印刷用、429KB、A4 2ページ）