東京大学、京都大学、九州大学、NICT、筑波大学、千葉大学はVLAN設定及びジャンボフレームのためのスイッチ設定が完了した。10 Gbps通信のためには通信ノードにおけるTCP及びUDPバッファサイズの拡張が必要であるが、名古屋大学、九州大学、信州大学及び東北大学を除いて設定が完了した。(その後、名古屋大学、九州大学及び信州大学は2021年度に環境構築が完了した。)2020年度にはさらに、構築したネットワーク環境で高速データ伝送のための基礎通信性能測定を行った。通信スループットの測定結果を表4(TCP)及び表5(HpFP)に示す。ここでhperfはiperf3に合わせて作成したHpFPベースのネットワーク環境計測ツールである。これらの実験により、次のことが明らかになった。①2019年度までのL3(レイヤ3)環境での計測結果と比較すると2020年度に構築したL2(レイヤ2)のVPN環境(L2VPN)では全体的にデータ通信速度が高速化している。②環境整備(ネットワーク及びサーバ)が整っている環境ではスループットとして10 Gbpsに近い速度を達成している。一方、達成できていない通信環境(たとえば京都大学→筑波大学)もあり、これらについては今後の原因究明と対策検討が必要である。③パケットロスレス環境ではTCPでも十分な高速化を達成しており、このような場合にはHpFPの有利性はそれほど高くない。2.4.2広域分散クラウド研究開発事例本節では、2020年度のJHPCN広域分散クラウドプロジェクトで行った各拠点の研究開発事例を報告する。なお、本稿に含まれないNICTサイエンスクラウドプロジェクトのエコシステムについて、表6にまとめた[34]。京都大学には、フロントエンドサーバ(VMサーバ)上にHpFPサーバ環境を整備し、1 PBストレージへのHpFPプロトコルツールによるデータ伝送環境を整備した[61]。NICTからのひまわり衛星データ伝送については6か月で200 TBのデータ伝送を完了した。また、映像IoTシステムからの映像データ(静止画像、動画像)については、191台の観測拠点(カメラ)からの画像を総計で98 TB(ファイル数4,833万)伝送した。京都大学スパコンXC40へのH.264コーデック及びFFmpegのセットアップに成功し、基礎試験を終了した。スパコンへのFFmpeg実装により今後の大規模並列分散型画像処理の実現が期待される。図7は名古屋大学不老システムのコールドストレージ利活用提案である。ユーザはHpFP(HCP)クライアントアプリのファイル転送またはファイル同期機能を用いて名大ストレージ(キャッシュ領域として利用する)にデータファイルを保存し、スケジューリングに従って磁気ディスクに保存する。2020年度は名古屋大図7名古屋大学不老システムコールドストレージへのデータバックアップの仕組み表6 NICTサイエンスクラウドプロジェクトのエコシステム目的アプリケーション・ツール名概 要データ収集NICTY/DLAインターネットで公開されている科学データをクローリングするツール.メタ情報自動収集ツール(NICTY)とデータファイルダウンロードエージェント(DLA) から構成.データ収集WONM(Wide-area Observation Network Monitoring) システム広域観測網の観測所・観測拠点の観測システムを監視し,データ転送を自動的に行うツール.サーバツールとクライアントッールから構成されるが,クライアントツールをあらかじめセットアップした小型アプライアンスサーバを利用できる.データ伝送遠隔高速ストレ ージシステム分散ファイルシステム(Gfarm)を仮想ストレージとして,遠隔地から高速データファイルの読み込み・書き出しを行うツール.クライアントサーバにセットアップすることで,API として利用できる.データ管理WSDBankサイエンスクラウドのストレージ(NAS,分散ファイルシステム)上のデータファイルにアクセスするための Webアプリケーション.データ管理Gfarmトレーサビリティー分散ファイルシステム(Gfarm[16])上のデータファイルの履歴をファイル単位(インスタンス単位)で追跡するツール.信理者用.データ処理Pwrake複数の計算ノードでデータファイルを分散処理するための並列処理用タスクスケジューラ.NFSでもGfarmでも利用できるが,Gfarm と組み合わせローカルファイルに優先的にアクセスすることでI/O高速化を実現するアフィニティースケジューリングが可能となる.データ処理Torque/Maui(T/M)クラスタ計算環境で並列処理に適したタスクスケジューラ.リソース・マネージャ(Torque)とスケジューラ(Maui)から構成される.データ可視化バーチャルオー ロラツール(V_AURORA)Global MHDシミュレーションデータを可視化するツール.AVS Express/Devにより実装.694-3 時空間データGISプラットフォーム
元のページ ../index.html#73