の性能を向上させる技術として、マルチモーダルAIやクロスモーダルAIがある。我々は、異なるモダリティを共通の表現空間に埋め込むことで、マルチモーダル・クロスモーダル表現の統合を目指す汎用的なフレームワークを考案し、様々な応用に展開している。詳細については、4-2「マルチモーダル・クロスモーダルAIによるスマートデータ分析」で解説する。デジタル地図上に様々なデータを重ね合わせて表示するデータマッシュアップは、様々なセンシングデータ間の相関を視覚的に分析する直感的な方法であるが、同時に扱えるデータの数量には限界がある。我々は、画像認識のAI技術を用いることで、こうした相関パターンを大量のデータに対しても効率的かつ網羅的に発見する技術の開発を行っている。センシングデータの地理的表現として一般的によく使われるラスタ画像では、異なるデータをレイヤーで表現しそれらを重ね合わせることで、様々なデータを複合化した疑似画像を生成することができる。我々は、コンピュータビジョンの深層学習技術（ConvNet等）を用いて、ラスタ画像の異なるレイヤー間での画素の共起パターンとして表わされる複合イベントを発見するユニークな手法3DCNN [7]を開発した。3DCNNは、例えば図3に示すように、気象データ、交通データ、SNSデータをレイヤーで表現したラスタ画像を時系列に沿って並べた3次元ラスタ画像を生成し、これらの複合イベントを動画像オブジェクトとして認識する。国内のある都市圏で収集された約1年半分の気象データ（降雨）、交通データ（渋滞、事故）、SNSデータ（被害メッセージ等）を対象に、降雨時の相対事故イベントの予測を行ったところ、25,899件の交通事故のうち、我々のアプローチは平均88%の精度を示し、従来の統計予測モデル（自己回帰和分移動平均など）に対し13%（MSE値比）の予測精度向上を実現した。さらに、3DCNNの複合イベント発見の結果から、相関の高いデータを結合したトランザクションデータを生成し、2.1のデータマイニング手法を発展させた周期的頻出パターン発見手法(Periodic Frequent Pat-tern, PFP）[8]と組み合わせることで、複合イベントの時系列発生パターンを予測できるようにする3DCNN-PFP手法[9]も開発した。図4に3DCNN-PFPの概要を示す。これにより異常気象等による混雑を示す複合イベントの時系列発生パターンを予測できるようにした。この手法も、xDataプラットフォームの移動環境リスク予測情報資産（後述）に実装し、リスク適応ナビゲーションへの応用を進めている。そのほかにも、ライフログカメラ等で取得したユーザの周辺環境の画像データから、画像認識技術を用いて有用な環境情報を収集し、物理センサーにより取得した環境データを補完・拡張するマルチメディア（MM）センシング技術の開発を行っている。携帯型カメラで取得した周辺環境の画像ログから環境品質気象混雑SNS（被害）トランザクション異常気象等による混雑の時時系系列列発発生生パパタターーンンを予測図4 3DCNN-PFPによる複合イベントの時系列発生パターン予測図3 3DNNによる複合イベント発見154 情報通信研究機構研究報告 Vol.68 No.2 （2022）4 スマートデータ利活用基盤技術
元のページ ../index.html#160