ニュース
現実世界の“そっくりさん”「デジタルツイン」の実現へ、KDDI総研の最新技術とは？
2023年1月24日 18:42
現実世界の物理的な情報をIoTなどで取得し、“現実そっくりの空間”を仮想空間上に再現する「デジタルツイン」――高速・低遅延・大容量の通信が実現するBeyond 5G/6G時代における新たな技術として、XR領域における技術開発などが進められている。
KDDI総合研究所（KDDI総研）は24日、報道陣向けの説明会を開催し、デジタルツインの実現に向けたXR領域の取り組みについて説明した。本稿では、KDDI総研 先端技術研究所 XR部門長の内藤整氏によるプレゼンテーションや、デモンストレーションの内容をお届けする。
開発の背景背景
KDDIとKDDI総研は、2030年を見据えた次世代社会構想として「KDDI Accelerate 5.0」を策定し、最新技術などの研究開発を推進。2030年は「デジタルツインの時代」と位置づけられ、それに向けたXR技術などの開発に力を入れる。
今回KDDI総研が発表した内容は、膨大な3D点群データを伝送するための技術と、音を立体的に表現して自然なXR体験を実現する技術の2つになる。
3D点群データのリアルタイム伝送
3Dの物体を点の位置と色の集合で表現するデータ形式「点群」。高精細な3Dデータとして臨場感のあるコンテンツを生み出せる一方、情報量の多さゆえデータ量も大きくなる。そのため、3D点群データを伝送するには、圧縮技術が不可欠となる。
KDDI総研では今回、点群圧縮技術の国際標準方式「PCC」に対応した独自開発のリアルタイムエンコーダーを使い、3D点群データをモバイル回線で伝送することに成功。PCCの2方式「映像ベース方式（V-PCC）」「座標ベース方式（G-PCC）」のそれぞれで伝送実験に成功しており、いずれも世界初の成果になるという。
たとえばエンターテインメント向けの用途が想定される「V-PCC」に関しては、1.0Gbpsのデータを1/40に圧縮して26Mbpsに。圧縮後の処理速度も約400倍高速化して従来の約16秒→33ミリ秒とし、リアルタイムでの処理を実現させた。
これにより、3D点群のコンテンツを制作する撮影スタジオであるボリュメトリックスタジオで撮影した映像を、そのままメタバース内に投影するというように、新たなイベント体験の創出が期待される。
説明会では、フリースタイルフットボール演技の映像と、アーティスト/モデルの春奈るなの出演映像が投影された。
このうちフリースタイルフットボール映像については、都内のボリュメトリックスタジオで実演されている演技を、説明会会場のホログラフィックステージにリアルタイムで伝送したものになっている。
KDDI総研では、ライブ配信時の課題となるコーデック処理遅延の低減を図り、スマートフォンなど向けに、インタラクティブなアプリケーションを開発する。
また、メタバースのプラットフォームや建設現場での活用など、3D点群コンテンツの普及に向けた取り組みを進めていくとしている。
デジタルツインに向けた音場合成
現実そっくりのデジタルツインを実現するためには、人間の視覚情報だけではなく、臨場感のある聴覚情報の再現も必要になる。
そこでKDDI総研が開発したのは、「音場」のインタラクティブ合成技術。10本程度のマイクが3Dの物体を取り囲むように配置され、音源の向きなどに応じた音場をリアルタイムに合成する。
これにより、音源そのものが立体的になるほか、音源に対して近づいたり回り込んだりしたときの音色の変化を体感できるようになる。
説明会でのデモンストレーションでは、仮想空間上に公園や洞窟などを再現。体験者の動きに応じて、仮想空間上での音が変わるようすが実演された。
具体的なユースケースとしては、メタバースやデジタルツインにおいてアーティストやアイドルなどと一緒に過ごす体験の創出などを想定。
先述の3D点群データのリアルタイム伝送と組み合わせ、メタバースプラットフォーム上での検証も進めていくとしている。