IntroductionWe daily struggle with processing large amounts of (un)intentionally-collected raw data (e.g., statistics, numbers, texts, images, audio) to get insights from our world. Nevertheless, smart data is a type of data we want to have instead of dealing with raw data containing redundant, even useless information. Smart data results from raw data’s analysis and interpretation, making it possible to draw value from it eectively. Hence, we need intelligent layers to embed in data collectors and storage to produce such smart data for further downstream applications. e process that turns a set of raw data into smart data could be considered smart data analytics. We can see many algo-rithms, products, and techniques using the prex “smart” to express that they have smart data in their products, such as smart IoT, smart dashcams, and smart clouds. Human beings have cognition of the surrounding world by sensing from dierent perspectives (e.g., see, hear, smell, feel, taste). Hence, devices made by human beings tend to record/capture data of the surrounding world in the same way human beings do. Each type of data recorded/gener-ated by a particular device/method represents how some-thing happens or is experienced, and that representative can be concerned as a modality. A research problem or dataset that includes multiple such modalities is considered multimodal, and AI techniques that deal with multimodal are called multimodal AI.1近年、マルチモーダルやクロスモーダルといったAI技術が注目されている。前者は、バラバラで不均質データを収集し、相互に情報を補完することでロバストな予測を実現することを目的としている。後者は、あるモダリティのデータから別のモダリティのデータを予測し、両者に共通する注目点を発見することを目的としている。両者は、収集した異種データからスマートデータを生成するという点で共通しているが、前者はより多くのモダリティを要求し、後者はモダリティの種類を減らすことを目的としている。本稿では、まず、スマートデータ解析におけるマルチモーダル及びクロスモーダルAIの役割について一般的に論じる。そして、これらのアプローチのバランスよく組み合わせ様々な応用への拡張を容易にするためのマルチモーダル及びクロスモーダルAIフレームワーク（MMCRAI）を紹介する。このフレームワークはxData（クロスデータ）プラットフォーム (xData PF)統合されている。また、このフレームワークとxDataPFをベースに構築された様々なアプリケーションを紹介し、議論する。Recently, the multimodal and crossmodal AI techniques have attracted the attention of com-munities. The former aims to collect disjointed and heterogeneous data to compensate for comple-mentary information to enhance robust prediction. The latter targets to utilize one modality to predict another modality by discovering the common attention sharing between them. Although both ap-proaches share the same target: generate smart data from collected raw data, the former demands more modalities while the latter aims to decrease the variety of modalities. This paper first dis-cusses the role of multimodal and crossmodal AI in smart data analysis in general. Then, we intro-duce the multimodal and crossmodal AI framework (MMCRAI) to balance the abovementioned approaches and make it easy to scale into different domains. This framework is integrated into xDataPF (the cross-data platform). We also introduce and discuss various applications built on this framework and xDataPF.4-2 マルチモーダルやクロスモーダルAIによるスマートなデータ分析4-2Multimodal and Crossmodal AI for Smart Data Analysisダオ ミン ソンMinh-Son DAO1594 スマートデータ利活用基盤技術
元のページ ../index.html#165