ドコモ、世界初8K VRと5Gで音楽やスポーツのライブ配信&視聴システムを開発

　NTTドコモは26日、世界初となる360度8K VRライブ映像配信・視聴システムを開発したと発表した。スポーツや音楽のライブイベントをリアルタイムに360度8K映像として撮影/配信可能となり、ヘッドマウントディスプレイ(HMD)を通してVRライブ映像を視聴できる。

360度8K VRライブ映像配信・視聴システムの概要

　360度8K映像配信に必要な映像合成や圧縮をリアルタイムに行なう場合、演算処理負荷が4Kの4倍と高く、ソフトウェア処理では困難だった。そこで高い処理能力を持つFPGA(Field Programmable Gate Array)を採用し、高負荷演算をFPGAに合わせた形でアルゴリズムを検討。高密度実装開発することで、映像合成や圧縮のリアルタイム処理(30fps)を実現。スポーツや音楽イベントに用いることで、「まるでその場にいるような、非常に没入感の高いライブVR体験をお楽しみいただける」としている。

　HMDで視聴する際に、複数の切り出し映像(タイル)に分割、視聴方向だけの映像を再生することで再生にかかる処理負荷を下げる「パノラマ超エンジンエンコーダ」を使用。ライブ配信向けにリアルタイム動作できるようにアルゴリズムを工夫したエンコーダを合わせて開発した。

　今回のシステムでは、円周方向に外向きに配置された5台のカメラから出力される4K魚眼形式映像をリアルタイムに合成(スティッチング)。30fpsで360度8K映像を出力するリアルタイムスティッチング装置と、360度8K映像をサーバへ配信するためにリアルタイムで圧縮(エンコード)するリアルタイムH.264エンコーダ、360度8K映像を複数方向のタイルに分割するリアルタイムパノラマ超エンジンエンコーダ(GPUで構成)、タイルをユーザの視聴方向に合わせて配信する配信サーバーで構成する。

　FPGA採用のリアルタイムH.264エンコーダから、リアルタイムパノラマ超エンジンエンコーダへの伝送は必要スループット80～200Mbps、配信サーバーからHMDへの必要スループットは80Mbpsで、これらの伝送に5Gを活用する。

　このシステムは「ドコモ5Gオープンパートナープログラム」参画企業・団体(1,503団体)向けに提供する、常設5G技術検証環境「ドコモ5Gオープンラボ Yotsuya」に展示される予定。「今後も5G時代における音楽イベントやスポーツなどの新エンタメ体験の実現に向け、高品質なVR技術の開発に取り組む」としている。