のは、夢の技術であるといえるが、少なくとも現段階での社会実装は容易ではないと思われる。一つは、コストの問題である。超大規模言語モデルは、学習時のみならず、それを用いてユーザのリクエストに応じて様々なタスクを行う際にも大量の計算資源を必要とし、それを賄うだけの料金に見合ったサービスをユーザに提供することは現状難しいと考えている。もう一つは、倫理的な問題である。超大規模言語モデルは学習データなしで様々なタスクに応用することが可能であり、タスクの中には人間と同等、あるいは場合によっては人間をしのぐ精度を示すものもある[5]が、これは裏を返せば、開発者のコントロールが効きにくいということでもある。この結果、大規模言語モデルを対話システム等で用いた場合に、ヘイトスピーチやヘイトスピーチとまで行かなくても、ユーザを不快にさせる、いわば失言のようなシステム応答が出力されないことを保証することは難しく、また、仮にそうした応答をシステムがした場合に、誰が責任を負うのか合理的に決定することが難しい。もちろん、事前学習において学習データとして使われたテキストが原因となって不適切なシステム応答が出力されたことは間違いないのだが、特定のテキストの断片に原因を帰するのは、超大規模言語モデルの複雑さからほぼ不可能であろう。このような場合、責任を負うのは超大規模言語モデルをサービスで活用している運用者となる他なく、運用者はリスクを負うことになる。今後、何らかの新規技術でこうした課題が解決される可能性もあるが、現時点で超大規模言語モデルを社会実装するには、その使い方や応用領域等に関してよく考え抜く必要がある。NICTにおける社会知コミュニケーション技術の研究開発 NICTでは、これまで10年以上にわたって日本語のWebページを研究開発用に収集してきており、現在、約400億ページの日本語Webページを収集済みである。さらに、現実的な社会課題の解決に資する自然言語処理を実現する上では、非常に多岐にわたる様々なタスクを処理する必要があるが、そうしたタスクをAIで処理するための学習データを柔軟に構築できる人間の作業者のチーム及びそのチームを指導する言語学者から成る体制を整備し、質問応答や対話に関する高品質かつ大量な学習データを整備、蓄積してきている。また、収集したWebページでBERT等の巨大ニューラルネットの事前学習を行い、それらを上述の高品質かつ大量な学習データでファインチューニングを行い、高品質な対話システム、質問応答システム等を開発しており、一部の技術に関しては、インターネット上での試験公開やビジネス化を意識した実証実験等も行っている。こうした大量の学習データの構築は、学習データを必要としないGPT-3のような超大規模言語モデルの研究開発のような最近の動向に逆行しているのではないか、と思われるかもしれないが、前述したように、運用で必要となる計算リソースや出力の適切性の二点において、そうした超大規模言語モデルがすぐに社会実装に結びつくとは考えづらく、GPT-3ほどのサイズではないがそれなりの規模の大規模言語モデルを高品質かつ大量の学習データでファインチューニングし、リーズナブルなコストで運用できる技術やそれらを活用したシステムの方が普及や社会課題の解決に結びつきやすいと考えている。一方で、なんらかのゲームチェンジャーとなる技術によって、超大規模言語モデルが一気に実用化されるような事態にも備えて、そうした超大規模言語モデルを容易に開発可能とするミドルウェアの開発も行っている。本特集の一連の研究報告では、社会知コミュニケーション技術の研究開発の内容を紹介する。3-2自動並列化深層学習ミドルウェアRaNNC（ランク）では、超大規模言語モデルの開発を容易にするために大規模なニューラルネットを自動で分割し、複数のGPUを活用して高速にその学習を行えるミドルウェアRaNNCの研究開発について述べる[6]。3-3大規模Web情報分析システムWISDOM X深層学習版では、インターネットに存在する膨大な社会知を活用すべく、誰もが容易にそういった知識にアクセスできるよう、第3期中長期目標期間（2011年度〜2015年度）に研究開発を行った大規模Web情報分析システムWISDOM X（ウィズダムエックス）を最新の深層学習技術でより高精度にし、現在インターネット上で試験公開している＊3質問応答システムについて説明する[7]。3-4 DIRECTにおける深層学習を用いた大規模自然言語処理では、現在、WISDOM X深層学習版やこの後に紹介する音声対話システムで実際に活用されているBERT関連の一連の技術を紹介する[8]。3-5 高齢者支援用マルチモーダル音声対話システムMICSUS（ミクサス）では、高齢化社会における課題解決を目的として内閣府のSIP第2期にて研究開発を進めてきた音声対話システムMICSUSについて説明する[9]。むすび本稿では、NICTで取り組んでいる社会知コミュニケーション技術の研究開発の概要について述べた。現34＊3https://www.wisdom-nict.jp/1093-1 社会知コミュニケーション技術の概要
元のページ ../index.html#115