お知らせ&イベント | 全周3D映像のコンテンツ制作が容易に

国立研究開発法人情報通信研究機構

YouTube動画

1. SIGGRAPHでのデモ　https://youtu.be/10J_Q3QBfdg

NICTユニバーサルコミュニケーション研究所は、テーブル型メガネなし3DディスプレイfVisiOn（エフ・ビジョン）の技術を応用し、一般のCGクリエーターでも簡単に全周3D映像のコンテンツが制作でき、fVisiOn上で即座に体験できるシステムの開発に成功しました。フレームワークは、標準的なCGソフトウェアをベースに開発されたため、センサーなどと連携したインタラクティブなコンテンツも容易に制作できるようになりました。これにより、立体映像メディアを使った新たな市場が期待されます。

※本研究は、科学技術振興機構（JST）戦略的創造研究推進事業チーム型研究（CREST）「共生社会に向けた人間調和型環境技術の構築」研究領域における研究課題「局所性・指向性制御に基づく多人数調和型情報提示技術の構築と実践」（研究代表者：東京大学苗村健教授）」の支援を受けて行われました。

背景

NICTユニバーサルコミュニケーション研究所では、高い臨場感を伴うコミュニケーションシステムの確立に向けて、立体映像の伝送・提示技術を研究開発しています。fVisiOnは、日常生活で利用されるテーブルを中心としたコミュニケーションを映像で支援することを目的とした研究であり、何もないテーブルの上に模型があるかのように、メガネなしで多人数が同時に観察できる立体映像の再生原理を考案し、原理検証を進めてきました。fVisiOnでの3D映像再生には、原理的に大量の光線の計算が必要です。しかしながら、その計算は専用に開発したソフトでも長い時間がかかる上に、元データ（コンテンツ）の制作にも専門的な光線幾何学の知識が必要でした。

今回の成果

fVisiOnでカードゲーム型コンテンツを制作し、
利用している例

CGコンテンツを標準的なミドルウェア（Unity）上で制作し、即座にfVisiOnで立体映像表示できるフレームワークを新たに構築しました。
fVisiOn特有の大量で複雑な光線計算について、リアルタイムに算出可能なアルゴリズムを新たに開発し、ミドルウェア上のライブラリとしてパッケージ化しました。
市販のセンサーから得られるデータや、ネットなどで公開されているモデルの利用なども、ミドルウェアの機能を流用することで、簡単にできます。
クリエーターは、一定のガイドに従って作業するだけで、fVisiOn特有の複雑な計算を意識することなく、簡単に全周3D映像のコンテンツ制作ができ、それをfVisiOn上で即座に体験できます。
加えて、これまでの研究成果を反映した3D映像の高画質化（以前の試作機と比較して16倍）と、テーブルの小型化（直径90 cm、高さ70 cm）にも成功し、より実用的なシステムになりました。

今後の予定

本成果について、ACM SIGGRAPH ASIA 2015 Emerging Technologies （平成27年11月3～5日、神戸国際展示場）にて学会発表及び実機展示を行います。

また、コンテンツメーカーへの試作機モジュールの貸出し、製品化なども検討していきます。

ACM SIGGRAPH ASIA 2015 Emerging Technologies

補足資料

今回の開発の概要

図1 fVisiOnにおけるテーブル上の物体の光線の再現原理

テーブルの上に置かれた実物のある一点に着目すると、その表面は光源からの光を反射して様々な方向に少しずつ違う光線を出しています。つまり、同じ表面の一点でも、右目と左目では少し異なる方角からくる光線を見ています。人が「物が立体的にそこにある」と理解する要因の一つは、この表面から様々な方向に光線が出ているという現象になります。

fVisiOnは、テーブルの下に円状に並べた大量のプロジェクターと円錐型の光学素子（背面投影式の特殊なスクリーン）を使い、この机の上に物がある光の状態を、テーブルの円周方向に再現する原理となっています（図1参照）。例えば、Pの位置のプロジェクターは、E_aやE_bといった複数の異なる視点位置に届く光線を同時に再生しています。一般的なCGでは、視点側（例えばE_aやE_b）から見た映像を計算するため、fVisiOnで必要とする計算は、標準的な手法で簡単に作成することはできませんでした。

そこで、再生したい3D形状の表面が放つはずの様々な光線を、幾何学的に一つ一つ計算する専用のソフトウェアを開発しましたが、大量の光線計算に長い時間がかかる上に、元データ（コンテンツ）の制作にも専門的な光線幾何学の知識が必要でした。

（a） Unity上でのコンテンツ制作風景

（b） fVisiOnでの再生結果

図2 開発したフレームワークでのコンテンツ制作の例

今回、fVisiOn特有の大量の光線計算を並列化し、リアルタイムに計算できるアルゴリズムを新たに開発しました。そのアルゴリズムは、コンテンツ制作で一般的に利用されつつあるUnity上で動作するものとして開発しており、ライブラリとして利用可能な形に整備しました。これにより、CGクリエーターは、なじみのある手法でコンテンツを制作した後、用意した手順に従ってライブラリをインポートし、適用することで、fVisiOn専用のコンテンツに簡単に変換できるフレームワークが完成しました（図2参照）。

図3 カードゲーム型コンテンツの制作例

一般的なコンテンツ制作ソフト上でフレームワークを構築したため、流通している形状データや、センサーを用いたインタラクティブなコンテンツも制作しやすくなりました。最新のデモンストレーションシステムでは、テーブルに埋め込まれたカードリーダーと連携したコンテンツを制作することが可能です。図3の制作例では、カードのキャラクターがテーブル上に登場してアニメーションする様子が、テーブルの周囲のそれぞれの視点からメガネなしで立体的に観察できます。

図4. 「初音ミク」*のコンテンツの制作例
（* 3D model by ままま（c） ANGEL Project
（c） Crypton Future Media, INC.）

また、これまでの試作機の見かけ上の立体映像の解像度は100×100画素相当でしたが、今回新しく同時に開発した試作機では400×400画素相当になり、16倍の情報量に向上しました。解像度が向上したことにより、複数形状の同時表示や、細かい形状の確認がしやすくなりました。また、これまでは手作業により試作された光学素子に起因して発生していた画像の乱れが、新規開発の光学素子では解消されました。

図5 装置全体の小型化と可搬化

試作1号機（図5（a）参照）は原理検証が目的のため、専用の部屋を必要とするほど大きく、多くの方々に利用・体験していただく機会は限られていました。

今回新しく開発したテーブル型3Dディスプレイの装置全体は、直径90cmのテーブル型に仕上げられています（図5（b）参照）。内部にはモジュール化されたプロジェクターアレイが円形に配列され、テーブル面中央真下に配置された円錐型の光学素子に様々な方向から大量の光線を投げかけ、テーブルの上に立体映像を再生します。

1つのモジュールが一人分（30度程度）の立体映像を再現できるため、少数のモジュールと円錐光学素子で、一人や少人数で3D映像を体験できる環境にすることも可能です（図5（c）参照）。

用語解説

テーブル型メガネなし3Dディスプレイ（愛称： fVisiOn、エフ・ビジョン）

NICTが開発した、特殊なメガネなしで複数人が同時に周囲360度から立体映像を見ることができる3Dディスプレイ。

テーブルの下に埋め込まれた、円錐型の光学素子（特殊な背面投影スクリーン）と、円状に配列された多数の小型プロジェクターにより、テーブルの周囲から観察可能な立体映像を再現する。

（参考）平成22年7月1日付けNICT報道発表

多人数で観察できるテーブル型裸眼立体ディスプレイの開発に成功
　何もないテーブルに浮かび上がる立体映像

ミドルウェア

CGコンテンツの制作過程で用いられる様々な素材を管理・編集し、コンテンツとして出力する機能を有するソフトウェア。コンテンツに登場するキャラクターの形状や動き、背景や効果音などは、別の様々なソフトウェアで制作され、ミドルウェアでは素材として管理される。ミドルウェアでは、素材を使ってCGの世界を作り、ゲーム性やストーリー性を付加することにより、コンテンツが出来上がる。今回開発したシステムは、ゲームエンジンUnity^*を基盤に、制作環境の整備を進めた。

* Unity及び関連の製品名は、Unity Technologies又はその子会社の商標です。