操作は一般的なIPカメラでは容易ではなく、送信側にRaspberry Pi等のシングルコンピュータを用いていることの利点の一つである。受信側ではOpenVG開発環境を利用して、AR(Augmented Reality)等により映像に取得情報をオーバーレイすることができる。例えば、ネットワークパラメータ(遅延時間、パケットロス率など)や映像パラメータ(フレームレート、ビットレート、解像度、バッファサイズ等)を受信画面に表示したり、中心点を+で表示したりするなど、様々な応用が可能である(図25)。図26は、図24のHpVTアプリケーションを用いたシステムのコンセプトモデル図である。図24に示すカメラ側(送信側すなわちエッジ側)のRaspberry PiにおいてエンコードされたH.264エンコードされたフレームデータがHpVTプロトコルによるストリーミングパケットとして送出され、モバイル通信網などを介して受信側のRaspberry Piで受信される。Raspberry PiはARMベースの安価なシングルボードコンピュータであり、H.264のハードウェア及びソフトウェアエンコーダを搭載しているため、HpVTのプラットフォームとして選択した。受信パケットはH.264デコードされ、HDMI対応のディスプレイ等に表示される。一方、送信側のRaspberry Pi上でOpenCVにより抽出されたフレーム画像(静止画像)ファイルや動画像ファイルは、Webサーバに定常的に伝送される。ストリーミング再生とは異なり映像モニタリングのリアルタイム性はないが、Webアプリでスマートフォン等によりどこからでも準リアルタイムに映像の確認ができる。また、画像ファイルをアーカイブすることで過去データの検索等も可能である。3.5大規模可視化技術 3.4の映像IoTにおいて筆者らのHpVTプロトコルは、モバイル通信環境を活用することにより、有線ネットワークの空間的制約を受けることなく、あらゆる場所からの高品質・低遅延映像伝送を可能とした。一方で、映像IoTの活用においては映像から情報を抽出する技術が重要であるが、多地点からの高品質映像伝送では蓄積画像がビッグデータ化されるため、高度で高速な画像処理技術が求められる。ここでは、開発中を含めた大規模可視化技術を紹介する。ビッグデータから有用な情報を抽出する手法の一つがデータマイニングであるが、データを可視化することでデータマイニングを実現する手法であるビジュアルデータマイニング[93][94]において、筆者らは特に衛星データ処理[95]や2.1のVEMS上での3次元計算機シミュレーションデータからの情報抽出(特徴点検出)[96]に成功している。ビジュアルデータマイニングの発展として、筆者らはこれまでに映像IoTと微小変化増幅画像処理技術(Magnification)を組み合わせることで、映像内に含まれる微細変動情報抽出に取り組んでいる。図27では乳幼児突然死症候群(SIDS)に対応するため、目視ではほとんど確認できない画像上の乳児のわずかな呼吸を抽出し、拡大可視化することに成功している[97][98]。Magnification技術は、映像IoT技術と相まって今後、図26 映像IoT通信システム概要図図27乳幼児突然死症候群(SIDS)対応のためのMagnification技術事例[98]図28安価なPTZ対応IPネットワークカメラのパン操作時の制御誤差[99]78 情報通信研究機構研究報告 Vol.67 No.2 (2021)4 NICT総合テストベッドの新たな可能性に向けた研究開発
元のページ ../index.html#82