情報通信部 ユニバーサル端末研究室
呂 山
１ はじめに最近、テレビニュース、ドラマなどで手話がたびたび取り上げられ、手話に対する社会的および研究的な興味が高まりつつある。しかし、手話の言語学や工学などに関する研究はまだ歴史が浅く、十分に行われていないのが現状である。我々の研究プロジェクトは2年前から始まり、聴覚障害者と健聴者のコミュニケーションを支援するために、要素技術としての手話認識と手話生成及び、手話音声の双方向通訳システムの開発を目的としている。
日本には約３６万人の聴覚障害者がいるといわれている。現状では、補聴器が利用できない聴覚障害者と健聴者との日常コミュニケーションは口話や筆談によって行っている。しかし、どちらの方法も障害者、健聴者のいずれかまたは両者にストレスを生じさせるコミュニケーション手段である。また、手話通訳者が介在する場合もある。しかし、いつでも通訳者が利用できるわけでもなく、プライバシーの問題から通訳者が間に入って欲しくない場合もある。そこで、当所では手話から音声へ、音声から手話へ機械で相互に変換し、聴覚障害者と健聴者とのコミュニケーションを支援するための手話音声対話支援システムの開発を進めている。
個別の要素技術として手話認識と手話生成の研究開発は2年半前研究室の設立と同時に始まったが、本年7月から9月まで仙台市で開かれた国際ゆめ交流博覧会への出展をきっかけに、手話の認識と生成の技術を統合した手話音声対話支援システムを開発することになった。本文は、このシステムで用いられた手話認識と手話生成技術及び今後の課題について紹介する。
国際ゆめ交流博覧会（仙台'97.7~'97.9)に出展した手話音声対話支援システム
２ 研究の目標
手話、音声を通じて、聴覚障害者と健聴者との対話を可能にするには、図１に示すように、手話と日本語の双方向の翻訳ができなくてはならない。この過程は、まず、聴覚障害者の手話を理解してから、手話を健聴者のわかる言葉に翻訳するプロセスと、健聴者が発話した日本語を理解し、手話に翻訳してから手話として聴覚障害者に伝えるプロセスからなる。我々の目標は、図１の構造に基づいた、聴覚障害者と健聴者との対話を支援できる手話音声対話支援システムを開発することである。この中に多くの技術が要求されるが、我々の研究重点は手話認識と生成、そして、必要な対話管理技術である。
図１ 手話音声対話支援システム
すべての場面に対応できる通訳システムはおそらく永遠の課題であろうが、対話の場面やタスクを限定すれば、実用に近い形のものができるではないかと考えられる。そこで我々は、当初の目的として、対象を郵便局の窓口での対話に限定することにした。特定の場面で発話される語彙には限りがあるので、問題がかなり簡単化される。場面が変われば、別の翻訳辞書を準備することで、将来、システムを拡張する上で大きな問題にならない。実際の郵便局で対話を収集した結果、使われる単語は200語足らず、対話の文例もそれ ほど多くないことが分かった。
３ 手話認識・生成技術の研究
３.１ 手話認識技術
手話認識は、手の動作を取得する方法によって、2種類の手法に分けることができる。一つ目はデータグローブを用いて手の動作を検出し、検出された動作パターンと辞書に登録した動作パターンを照合することによって認識を行う手法である。二つ目はビデオカメラを用いて画像処理の方法を用いて手の動作を検出するものである。データグローブを用いる方法では動作の正確な検出が可能であるが、ケーブルなどによる手の動きに制約があること、実際の対話場面での装着が考えにくいことから、我々は画像処理による方法を用いることとした。
採用した手話認識の手法は、まず、ステレオビデオカメラを用いて、被験者の動きを撮影し、計算機に取り入れる。次に、画像処理手法を用いて、取り込んだ映像データから手領域の動作を検出する。最後に、検出された手の動作と、基準となる手話単語の動作情報を記述したデータベースと照合し、動作情報のテンプレートマッチング手法によって手話の認識を行う。手話動作は身体部位を指し示すことや、顔の口や目などの器官の意味を持つ空間に手を置くことと、また空間上に両手で一定の軌跡を描くことにより、手話の意味を表している。本システムでも基本的に手話の意味を構成する情報の中で最も重要とされている手の開始位置と動作の軌跡を用いて手話の認識を行う。実際に手の位置や動作軌跡を記述するために、頭部、首及びボディを基準に、両手の可能な運動空間を複数の小領域に分け、前後距離を3段階にわけることによって、手の位置と動作を定める。運動空間の領域分割は、被験者の上半身の画像と背景画像との差分画像から検出される身体の輪郭に基づいて行っている。
手の開始位置と手の動作を記述するとき、手の可能な運動方向は、左、右、上、上前方など２６通りがある。フレームごとに手の位置の差分をとり、閾値以上に移動した時に手の運動要素を検出する。これは動作の開始から終了まで行う。同じ運動要素が続いた時には運動要素を圧縮し、運動コードとして手の動きを記述する。手話動作データベースには、手話単語を手の開始位置と運動コードの形で記述している。実際に検出した開始位置と動作コードをデータベースに照合すれば、単語の判定が行える。しかし、実際に被験者から検出した手の開始位置が必ずしもデータベースの中の定義と一致しないので、判定に失敗する確率も高い。このようなことを避けるために、位置においては近傍領域距離、運動においては近傍運動コードというものを定義し、動作の類似度を求め、複数の単語の中から類似度の最も高い単語を認識結果として出力するようになっている。
３.２ 手話生成技術
手話の生成にも二つの方法がある。データグローブから取得した時系列データを用いた手話アニメーションを生成する方法と、手話の動作を一定の規則で定義したコードから生成する方法である。前者はリアルに速く生成できるが、データの修正が困難、後者は単語の追加は容易であるがリアルな表現が困難など、それぞれ一長一短がある。
我々はモーションキャプチャーとデータグローブを利用して、手話の動作データを取得し、その動作データを基に、多関節構造を持つキャラクタの３次元モデルを動かすことによって、手話のアニメーションを生成する方法を開発した。手話の動作データは、モーションキャプチャーとデータグローブを用いて手話を演じる演技者の動きをトラッキングすることによって取得する。手を含め上半身の動作は光学式のモーションキャプチャー、指の曲げ動作は、デー タグローブにより取得する。モーションキャプチャーシステムにおいては、人体の骨格の関節部分に光に反射するマーカ（形状はピンポン玉のようなもの）を取り付け、複数の高速ビデオカメラから撮影した映像よりマーカの動きを追跡する。追跡で得られたマーカの位置より3次元位置を計算し、アニメーションに適したフォーマットの動作データに変換する。図２に手話演技者に取り付けられたマーカとデータグローブを示す。本システムでは、指の関節を含めて、全部で39個の関節に対応する動作データを収録した。
図２ マーカとデータグローブを着用した手話演技者
モーションキャプチャーとデータグローブから得られた動作データは単語ごとに保存される。この動作データは、一つの単語に対して、3次元人物像モデルのすべての関節にわたって、１フレームずつの回転角度データが含まれている。手話アニメーションを生成する際、この動作データを多関節の3次元モデルに対応づけ、モデルの関節を回転することによって行われる。3次元モデルは、動作をコントロールする関節と、キャラクタの形状を表すポリゴンデータをリンクすることによって構成する。図３には、”切手”の手話単語の表現動作を行っているキャラクタの１コマを示す。
手話の動作データは単語ごとに取得しており、連続した手話文を生成するとき、単語間に不連続性が生じることがある。不連続性をなくすために、前の単語の終了動作と次の単語の開始動作を基に、線形補間を行っている。
図３ 「切手」の手話アニメーションスナップショット
４ 手話音声対話支援システム
以上に紹介した手話認識、手話生成の技術を用いて、手話音声対話支援システムの初期バージョンを開発した。図４にこのシステムの主なハードウェアおよび会話の様子を示す。手話認識と手話生成の他、音声認識、音声合成および対話管理が含まれる。音声認識と音声合成に関しては既存の技術を利用している。
現在の手話音声対話支援システムは、３８の手話単語の認識と180単語の生成が可能であるが、自由に対話を行うためにはまだ不十分である。単語数が少ない理由の一つは、現在の認識システムが手の動きだけを扱っていて、手の形の認識を行っていないことにある。今後、手形の処理と認識を取り入れ、認識可能な単語をふやしていく予定である。
図４ 手話と音声を用いた対話シーン
５ おわりに
以上、手話の認識、生成に基づいた手話音声対話支援システムについて述べた。まだ極く簡単な対話しか行えないが、聴覚障害者が手話、健聴者が音声、それぞれ使い慣れた言葉を用いて、コミュニケーションを行うことが可能であることを示した。
聴覚障害者の使う手話は、手指の動作だけではなく、視線、口型、ジェスチャ、表情なども重要な情報を含んでいる。こららはまさに言語の一部ということができ、手話の認識／生成においても、これらのノンバーバル情報をいかに取り込むかが重要である。そのため現在、ユーザ（聴覚障害者）の状況に応じてアクティブに動作する3次元キャラクタを開発中である。
第四研究チーム
大容量・高速伝送を実証したMM-TDMA陸上移動通信方式とは？
守山 栄松
第四研究チームでは、関係５機関と協力しマ ルチメディア・マルチモード時分割多元接続方式（MM-TDMA方式）の開発を行いました。この方式は、需要が高まりつつあるマルチメディア移動通信に対処するため、時分割多元接続（TDMA）技術をもとに１基地局当たりの通信容量及び伝送速度を飛躍的に向上させた無線伝送方式です。21世紀初頭の実現を目指した次世代の陸上移動公衆電気通信システムであるFPLMTS/IMT-2000の候補として研究開発を開始しており、PHS等の現行の移動通信システムの次世代システムとしても実現が期待されています。本稿ではこのMM-TDMA方式について概説し、インパクトについて述べます。１ 開発の背景
インターネットのようなマルチメディア通信を支障なく実現するためには、一度に多くの情報が送れる高速な無線伝送方式の実現が望まれています。陸上システムを主な研究対象としている第四研究チームでは、将来の陸上移動通信のマルチメディア化の実現を予測し、それに応えるべく、比較的早い時期から高速な無線伝送方式の研究開発を行ってきました。これにより多くの先進的な研究成果をあげることに成功しています。
一方、21世紀初頭のサービス開始を目指し現在精力的に研究開発が進められている次世代の陸上移動公衆電気通信システム（FPLMTS/IMT-2000）では、2Mbit/s の伝送速度実現をその目標のひとつとして挙げています(参考文献＝1)。FPLMTS/IMT-2000については、日本ではその技術開発面での標準化活動を電波産業会(ARIB)が主として進めています。そこで第四研究チームでは、これまでの技術開発の成果を実用システムに反映させることを目的として、ARIBの無線方式研究会TDMA方式分科会に参加して活動を続けてきました。TDMA方式分科会では、通信総合研究所（第四研究チーム）と関係５機関（(株)日立製作所、日本電信電話(株)、三菱電機(株)、(株)ＹＲＰ移動通信基盤技術研究所、シャープ(株)、順不同）がアドホックグループを構成し、高速伝送が可能で大容量な陸上移動通信システムの開発を目指して各種の要素技術を持ちより、共同で検討を重ねてきました。その結果、次世代の無線伝送方式の候補として、マルチメディア・マルチモードTDMA方式（以下、MM-TDMA方式）が誕生しました。
本稿では、最初にMM-TDMA方式の特徴と諸元について、次に開発した装置について紹介します。
次に開発装置を用いた実験結果について述べます。２ MM-TDMA方式の特徴と実現方法
MM-TDMA方式では実績のある技術をベースに開発しています。このため、研究開発コストの低減と開発リスクの回避が比較的容易となり、さらに開発期間の短縮に成功しています。本方式の主要諸元を第１表に、主な特徴を以下に示します。
１）現在使用されているディジタル移動通信システムから拡張したシングルキャリア伝送。
２）直交位相変調(QPSK)と16値直交振幅変調(16QAM)を用いた適応可変変調。
３）室内で約6Mbit/s、構内で約3Mbit/sの搬送波伝送速度。
４）32kbit/sの基本ユーザ伝送速度の提供(最高で128多重)。
５）最高伝送速度4Mbit/sの提供。
６）自律分散制御の容易性。マルチメディア移動通信実現の鍵は、高速な無線伝送を如何に実現し、それを柔軟に制御できるかにかかっています。しかし陸上移動通信において無線伝送速度を高速化した場合、直接受信した電波とビルなどで反射した電波が干渉し混ざり合うマルチパスフェージングの影響が大きくなり、通信品質が大幅に劣化する問題があります。そこでMM-TDMA方式では適応等化技術と適応可変変調技術の２つの技術を用いて高速伝送の際に生じる問題点を解消しました。
適 応等化とは、受信した反射波を受信機のディジタル信号処理回路により打ち消す技術であり、通信品質を大幅に改善できます。適応等化技術は欧州の自動車電話方式であるGSM方式(参考文献＝2)にも用いられている実績のある技術です。一方、適応可変変調とは、室内や歩行中、車での移動中など通信環境に適応して、変調方式を時間的に切り換える技術です。環境に適した変調方式、例えば電波伝搬状況が良好な場合にはより多くの情報が送れる16QAMを、伝搬環境が劣悪な場合は誤りの起きにくいQPSKを選択することにより、高速で高品質な伝送が可能となります。
MM-TDMA方式の主要諸元 方式名 MM-TDMA 参考 PHS（日本） CT２（欧州） DECT（欧州） 周波数帯 1.9GHz 1.9GHz 800MHz 1.9GHz 多重化方式 TDMA-FDD/TDD TDMA-TDD SCPC-TDD TDMA-TDD 多重数/キャリア 64/32 4 1 12 変調方式 QPSK,16QAM π/４QPSK GFSK GMSK RF信号速度 3.072/6.144Mbit/s 384kbit/s 72kbit/s 1.15Mbit/s キャリア間隔（kHz) 1600（インタリーブ） 300 100 1728 音声符号化 32kbit/s ADPCM 32kbit/s ADPCM 32kbit/s ADPCM 32kbit/s ADPCM フレーム間隔 (ms) 10 5 2 10 送信電力ピーク（平均：mW） 80〜1500 80 (10) 10 (5) 250 (10) 制御チャネル 専用制御チャネル 専用制御チャネル 付随制御チャネル 付随制御チャネル 3 高速無線伝送実現の効果
近年のパーソナルコンピュータ（ＰＣ）の普及は目覚ましく、21世紀初頭には総稼働台数が4000万台を越えるものと予想されています。これらＰＣはＬＡＮやインターネットなどと相互に接続され、現在、ネットワーク化率は推定40％に達しており、今後も急速に進んでいくものと考えられます。一方、無線通信の分野においてはPHSにおいて32kbpsデータ伝送が実現され、インターネットをはじめマルチメディアへのアクセス手段として用いられています。現在、市場の要求に従いなお一層の高速化への検討が行われています(参考文 献＝3)。
ここでMM-TDMA方式の伝送速度を既存の無線通信システムと比較します。１基地局当たりの最大の伝送速度は、上り回線（移動局から基地局への回線）と下り回線（基地局から移動局への回線）において異なる周波数を用いるとき約4bit/sです。これは実に、ディジタル自動車電話の通常の音声サービスの約366倍、パケット通信サービスの約122倍です。このようにMM-TDMA方式はディジタル自動車電話と比較して伝送速度が高速であるため、音声通信はもとより動画像情報の伝送やパソコンの高速データ転送などの用途に十分応えられ、超高速モバイルコンピューティングなどに適した方式といえます。また、MM-TDMA方式において32kbit/sの音声を用いた場合、現行のPHSと比較すればQPSKの場合でも１基地局当たり最大で64ユーザが収容可能です。この値は、PHSの約16倍の収容局数です。これは基地局の設置コストの大幅な低減（約16分の1）となるため、ユーザに対してより安価な無線通信手段の提供が可能となります。
４ 無線伝送方式の実証実験
図１ MM-TDMA基地局装置の外観（移動局装置も同一形状）
第１図に装置の外観を示します。実証実験を目的に開発した装置は高周波部、信号処理部、測定用ＰＣ及びアンテナより構成されます(参考文献＝4)。装置の主要諸元を第２表に示します。送信周波数はFPLMTS用に割り当てられた2GHz帯を使用しました。
MM-TDMA方式ではユーザの利用形態によりさまざまな場所における使用が想定されます。ここでは開発した実験装置を用いて、室内、構内及び車載環境例を想定して実証実験を行いました。
まず、室内環境の例として東京都小金井市にある通信総合研究所内の廊下に基地局を設置し、建物内の廊下を移動して無線伝送実験を行いました。またオフィス環境が模擬されたミリ波実験室に基地局と移動局を設置し、オフィス環境下の無線伝送実験も行いました。いずれの場合も基地局アンテナ高は1.8m、移動局アンテナ高は1.5mとしました。これらの屋内伝送実験の結果では、模擬電波伝搬路（フェージングシミュレータ）を用いて行った室内実験結果とほぼ同様の結果が得られ、これにより高速伝送を実現できることがわかりました。但し、適応等化器を用いないと、マルチパスによる符号間干渉のため、特性劣化が見られました。
次に通信総合研究所構内に基地局アンテナ（地上高6m）を設置し、構内での移動通信実験を行いました。第２図は実験風景です。実験の結果、室内実験の結果とほぼ同様の結果が得られ、構内でも室内と同様に問題無く通信ができることがわかりました。符号誤りは受信機入力の低下によるものが支配的でした。
図２ 構内移動実験の風景
最後に、通信総合研究所構内の60m鉄塔に基地局を設置し、半径約３Km以内にあたる小平市及び小金井市内を走行する車載移動局との通信実験を行いました。その結果、QPSKと16QAMともに、適応等化器を用いることによって直接受信した電波とビルなどで反射した電波が干渉しても問題無く高速伝送が可能であることがわかりました。
項目 基地局 移動局 送信周波数 2.212GHz 2.144GHz 変調／復調 QPSK/16QAM 送信電力(mW) QPSK:800,16QAM:80 80 搬送波信号速度 QPSK:3.072Mbit/s 16QAM:6.144Mbit/s 適応等化 (RLS+LMS)-判定帰還等化器 ダイバーシチ 2ブランチアレイ合成 ５ おわりに
本稿では、マルチメディア・マルチモードTDMA方式と開発した装置の概要を述べ、実証実験により得られた結果の一部を紹介しました。現在、ARIBにて本方式の次世代PHSとしての適合性について検討を依頼している状況です。
MM-TDMA方式は高速伝送が容易に実現可能な方式であり、自営通信用にもそのまま適用できるなど多くの利点と発展性に豊んだ方式です。今後も関係諸機関と密接な連携の下で本方式の普及に努力したいと考えています。
参考文献(1) ARIB FPLMTS Study Committee, "Report on FPLMTS Radio Transmission Technology SPECIAL GROUP, (Round 2 Activity Report)", Draft v.E1.1, Jan. 1997.(2) "GSM Recommendations", ETSI/TC SMG, 1987.(3) 郵政省、“次世代移動無線通信システムに関する調査検討会報告書”、 1997年6月。(4) 守山 他、“MTDMA高速伝送システムの開発”、 1997年電子情報通信学会通信ソサイエティ大会、B-5-47.
