年11月に完了し、以降はその生成モデルを利用した各種生成器の研究開発をDIRECTで行っている。）このようにして作成したBERT EncDec（decoderが24層の場合と1層の場合）を「なぜ」型質問応答の回答要約で評価した結果も表6にまとめるが、この結果より、decoderが24層の場合のBERT EncDecはUniLMよりも高い性能を得ている。また、decoderが1層の場合は24層の場合よりも若干性能が低下するものの、性能をほとんど損なわずに回答要約を生成できていることがわかる。 実行速度に関する評価としては、UniLMで回答要約を生成した場合と比較して、de-coderが24層のBERT EncDecの場合は約10倍＊10、1層の場合は約41倍の処理速度に改善できていることを確認しており、この速度の改善はWEKDA等の実アプリケーションで生成処理を行う上で非常に有益な結果であるといえる。WISDOM Xの軽量化／高速化前述したように、NICT DIRECTでは大規模情報分析システムWISDOM Xの研究開発、ネット上の一般公開を行っており、このWISDOM Xを用いることで大規模なwebテキストを知識源として「なに」「どうなる」「どうやって」「なぜ」といった質問に回答することが可能である。さらに、WISDOM Xの質問応答技術は対話システムWEKDA[7]やマルチモーダル音声対話システムMICSUSで雑談を行う際の応答候補の生成等にも利用されており、その応用範囲も広い。一方で、そのような応用処理の実利用を見越した処理の軽量化、高速化が重要な課題となっていた。特に処理のボトルネックとなっていたのが、入力の質問に対する回答候補パッセージ（web文書から抽出された連続7文から成るテキスト）のキーワード検索及び検索結果に深層学習を適用して、適切な回答を含むパッセージを特定する処理で、検索対象となるパッセージの規模が大きくなり、また、より大量のパッセージに深層学習を適用する必要が出てくるにつれて、その実行速度が問題となっていた。このような背景から、検索の効率化等の処理の改善に取り組んだ。具体的には、SentenceBERT[33]（図4）と呼ばれる、2つの入力単語列（ここでは、質問とパッセージ）の類似度計算を行うニューラルネットを利用し、検索対象となるパッセージ集合のクラスタリング処理、さらに、そのクラスタリング結果を受けて、入力の質問に対して回答が含まれている可能性の高いクラスタを特定する処理を実現することで、全パッセージ集合を検索するのではなく、事前に絞り込まれたより小規模のパッセージ集合を検索するということを行い、処理の高速化を行った。さらに質問応答の回答パッセージ特定等に利用するGPUの割り当て等も見直すことにより、従来の処理と比較して、GPUの枚数を1/40に削減しつつ、処理速度を低下させることなく従来の1.3倍の速度で処理が可能となっている。これにより今後のWISDOM Xの技術展開で障害となるGPUリソースに関するハードルを劇的に下げることができたといえる。まとめ本稿では、NICT DIRECTで進めている深層学習を用いた自然言語処理について、テキストの分類処理と生成処理の観点からのそれぞれの取組を紹介した。現在の自然言語処理分野では深層学習の利用が広く浸透しているが、この中でも質の高い大規模言語モデル自体の開発並びにその言語モデルを利用した質の高いシステム開発がより重要になってきている。このような観点からの取組の一例として、公開版NICT BERTBASE並びにNICT BERTLARGE（非公開）の事前学習の概要と、因果関係認識等の4種類の問題に関する評価結果を示した。BERTを用いた分類処理の結果はそれが導入される以前では考えられないような高い性能を示しており、我々は今後もこのような大規模言語モデルを積極的に活用していくべきであることがわかる。一方で、モデルが巨大化することにともない、処理速度の面で問題が生じるが、本稿ではその問題を解決する例として、生成用ニューラルネットのアーキテクチャの改良による処理の高速化、さらに、WISDOM Xにおける軽量化／高速化について紹介をした。今後は、このような処理の効率化、高速化を実現しつつ、より質の高い技術や実アプリケーションの実現に向け、本稿45出⼒(cos類似度)[CLS]![SEP]E[CLS]E1EN"Ei......CT1TNTi..................TrmTrmTrmTrm............⼊⼒: [CLS] 質問⽂[SEP]⼊⼒: [CLS] 回答候補パッセージ[SEP]cos類似度計算[CLS]![SEP]E[CLS]E1EN"Ei......CT1TNTi..................TrmTrmTrmTrm............図4 SentenceBERTのアーキテクチャ＊10回答要約の場合は出力する単語列に比べて入力が質問と回答パッセージという長い入力が与えられているため、それらを生成の各ステップで全てエンコードすると非常に処理速度が遅くなってしまう。1373-4 DIRECTにおける深層学習を用いた大規模自然言語処理
元のページ ../index.html#143