はじめにここ数年の深層学習の圧倒的な進歩により、他の人工知能の分野と同様に、自然言語処理の分野においても研究の様相が大きく変わってきている。従来の自然言語処理のアプローチでは、機械翻訳、情報抽出、質問応答といった最終的に開発したいアプリケーションが解くべき問題を部分的な問題に分割し、部分問題それぞれを段階的に処理することで最終的なアプリケーションの出力を得るということがなされてきた。例えば、文中の語の品詞（名詞や動詞等）を特定する処理や、文の構造を解析する統語解析、入力中の個々の単語を他言語の同義の単語に置き換えるなどの部分問題が設計され、その部分問題の処理方法や、もしくはある部分問題の出力が与えられた状態で次の部分問題を適切に処理するための研究が進められてきた。しかし、近年ではそのような部分問題への分割を行わず、未処理のテキストから、いきなり最終的な結果を出力するという、いわゆるend-to-endの処理が研究者の注目を集め、盛んに研究が行われている。この研究の盛り上がりの理由としては、自然言語処理分野における深層学習技術の発展により、そうしたend-to-endの処理が容易になったことがあげられるが、特にニューラルネットの1つであるTransformer[1]を利用した言語モデルBERT (Bidirectional Encoder Representations from Transformers）[2]が提案され、その有効性が広く知れ渡ったことの影響が大きい。本特集号3-1 [3]でも概要が紹介されているように、BERTでは事前学習とファインチューニングという2段階の処理を行う。ここで事前学習とは言語モデルを巨大なテキスト集合を対象に教師なしで実施可能な問題に関して学習をすることをいい、一方、ファイン1大規模言語モデルは現在の自然言語処理研究の根幹をなす要素技術となってきている。本稿では、国立研究開発法人・情報通信研究機構（NICT）データ駆動知能システム研究センター（DIRECT）で研究開発を行っている深層学習に基づくテキストの自動分類と自動生成に関する技術を紹介する。まず最初に、深層学習版の大規模Web情報分析システムWISDOM X等のDIRECTの多くのシステム開発で活用されている、DIRECTで作成したテキスト分類タスク用の大規模言語モデルについて紹介する。次に、その分類用言語モデルを生成に利用するために追加学習して作成したテキスト生成タスク用言語モデルとそのモデルの次世代音声対話システムWEKDAでの利用についても紹介する。最後に、深層学習版のWISDOM Xの軽量化／高速化に関する取組についても紹介する。Huge language models are becoming an elemental technology that forms the basis of current natural language processing research. In this paper, we present deep learning-based classification and generation techniques that we recently studied and developed at the Data-driven Intelligent System Research Center (DIRECT), NICT. First, we introduce the huge language models that we created for text classification tasks. We exploit these models for developing many systems at DI-RECT, such as the deep learning version of our open-domain question answering system WISDOM X. Then, we present our language models for text generation tasks, which we created by addition-ally pretraining the aforementioned models for classification and modifying them to generate texts, and explain how we use these models in our next-generation spoken dialog system WEKDA. Fi-nally, we present our efforts to make the deep learning version of WISDOM X lighter and faster.3-4 DIRECTにおける深層学習を用いた大規模自然言語処理3-4Large-scale Natural Language Processing using Deep Learning Techniques at DIRECT飯田 龍IIDA Ryu1293 社会知コミュニケーション技術
元のページ ../index.html#135