HTML5 Webook

116/194

在の自然言語処理において中心的役割を果たしている深層学習についてその状況を概観し、社会知コミュニケーション技術の研究開発としてNICTで取り組んでいる内容の概要を説明した。今後の自然言語処理分野における研究開発の方向性としては、引き続き更なる大規模言語モデルの開発は続いていくと見られるが、既に述べたように社会実装上の課題も多く、そうした大規模言語モデルの構築は、当面はその可能性を示すに留まり、実際に社会で使われるのにはまだまだ時間を要すると考えている。一方で、超大規模言語モデルほどの規模ではなく、現実的な規模の言語モデルを利用する場合には、ファインチューニングして用いることが想定されるため、多様なタスクで高い精度を出すためには、それらのタスクの高品質な学習データを有しているか否かが成否を分けるとも考えられる。そのため、そういった学習データをはじめWebテキストのような自然言語処理のための基礎的なデータの蓄積を継続的に実施していくことが非常に重要だと考えている。今後もNICTの特色を活いかし、そうしたデータを蓄積しつつ、2030年頃に社会知を駆使して多様な話題に関して人間とブレインストーミングしたり、適切な意思決定やイノベーションを促進することができる対話システムの実現を目指し、社会知コミュニケーション技術の研究開発に取り組んでいく。謝辞社会知コミュニケーション技術について日頃から議論しているDIRECTの職員に深く感謝する。参考文献】【1J. Devlin, M. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,” Pro-ceedings of NAACL-HLT 2019, pp.4176–4186, 2019. 2J. Kaplan et al., “Scaling Laws for Natural Language Models,” arXiv preprint, arXiv:2001.08361, 2020.3A. Radford, J. Wu, R. Child, D. Luan, D. Amodei, and I. Sutskever, “Language Models are Unsupervised Multitask Learners,” 2019.4田仲 正弘,田浦 健次郎,塙 敏博,鳥澤 健太郎,“自動並列化深層学習ミドルウェアRaNNC,”自然言語処理, vol.28, no.4, pp.1299–1306, 2021.5T. Brown et al., “Language Models are Few-Shot Learners,” arXiv pre-print, arXiv:2005.14165, 2020.6田仲 正弘,“自動並列化深層学習ミドルウェアRaNNC,”情報通信研究機構研究報告，本特集号，3-2, 2022.7呉 鍾勲, クロエツェー ジュリアン, “大規模Web情報分析システムWISDOM X深層学習版,”情報通信研究機構研究報告, 本特集号, 3-3, 2022.8飯田 龍, “DIRECTにおける深層学習を用いた大規模自然言語処理,”情報通信研究機構研究報告, 本特集号, 3-4, 2022.9水野 淳太,淺尾 仁彦 “高齢者介護支援用マルチモーダル音声対話システムMICSUS,”情報通信研究機構研究報告, 本特集号, 3-5, 2022.大竹 清敬 （おおたけ きよのり）ユニバーサルコミュニケーション研究所データ駆動知能システム研究センター研究センター長博士（工学）自然言語処理、音声言語処理【受賞歴】2021年　第3回日本オープンイノベーション大賞、総務大臣賞2019年　文部科学大臣表彰、科学技術賞2014年　Twitter Data Grants獲得110　　　情報通信研究機構研究報告 Vol.68 No.2 （2022）3　社会知コミュニケーション技術