KDDI株式会社（本社:東京都千代田区、代表取締役社長:髙橋 誠、以下 KDDI）、NICT、NECソリューションイノベータ株式会社（本社: 東京都江東区、代表取締役 執行役員社長 杉山 清、以下 NECソリューションイノベータ）は、内閣府の戦略的イノベーション創造プログラム第2期の研究開発計画の1つである「ビッグデータ・AIを活用したサイバー空間基盤技術」（管理法人：国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO））のうち、「高度マルチモーダル対話処理技術（以下 本研究開発）（注）」に対して共同提案を行い、採択されました。
　今後、Web等に存在するビッグデータと専門領域の対話シナリオやセンサデバイス等からの情報を組み合わせたハイブリッド型マルチモーダル音声対話システム（以下 本システム）の研究開発に取り組んでいきます。

＜ハイブリッド型マルチモーダル音声対話の適用イメージ＞
＜ハイブリッド型マルチモーダル音声対話の適用イメージ＞

本研究開発は、高齢者のケア・介護領域において、人手不足が問題となっている介護職の作業負担軽減や将来における要介護者の増加抑制を図ると同時に、社会問題として指摘されている高齢者の社会からの孤立の回避に寄与する音声対話システムを実現することを目的とします。

近年、少子高齢化により、介護を必要とする高齢者が増える一方、介護人材が著しく不足しており、高齢者のケア・介護職の作業負荷が増加しています。加えて、高齢者の社会からの孤立についても社会問題として指摘されています。

こうした状況を受け、高齢者の生活状況や健康状態を確認し、対話の履歴や表情などの情報を介護職や家族と共有する本システムを構築し、介護職の作業負担の軽減を図ることを目指します。加えて、本システムによるきめ細やかな生活状況、健康状態のチェックや、高齢者のコミュニケーションの機会や発話する回数を増やすことにより、要介護度の進行を抑制するとともに、多様な話題に関する雑談を介して社会との関わりを促し、高齢者だけでなく介護職や家族にとって、よりよい介護につなげることを目指します。

今後もKDDI、NICT、 NECソリューションイノベータは、世界に先駆けたマルチモーダル音声対話システムの研究開発によって、少子高齢化の社会課題を解決するとともに、他の応用領域への適用も含め、研究成果を広く活用いただくための更なる研究開発を進めていきます。


（参考）各機関の役割

　KDDI、NICT、NECソリューションイノベータは、本研究開発において、介護分野へのユースケースに特化した目的志向型対話と大規模データ駆動型対話（雑談）からなる複数種の対話をハイブリッドに遂行し、音声や文字だけではなくカメラやセンサーなどから収集される表情やセンシングデータを組み合わせ、XR技術などを含む多彩なUIで対話を促進する高度マルチモーダル音声対話システムの実現を目標として、以下の研究開発に取り組みます。
  • （1）KDDI
    • ・ハイブリッド対話を遂行する高度マルチモーダル対話プラットフォームの開発
    • ・マルチモーダルによる介護用対話シナリオの開発
  • （2）NICT
    • ・高度マルチモーダル対話を実現する大規模言語資源の構築と自然言語処理技術の開発
  • （3）NECソリューションイノベータ
    • ・対話を促進する高度マルチモーダル対話インタフェース技術の開発
（注）人と人、あるいは人とAIが協働するためのマルチモーダルな記憶・統合・認知・判断を可能とする高度な対話処理技術および対話支援技術
以上