第974回：ボリュメトリックビデオとは

空間・場所・人とその動きなども含めて三次元デジタルデータ撮影

　ボリュメトリックビデオ（Volumetric video）とは、現実の空間・場所や実在の人、その人の動作などを三次元デジタルデータとして撮影する、またその技術のことです。ちなみに、“volumetric”は「容積測定」を意味する英単語です。

　人の動作をデータとして取り込む仕組みとしてはモーションキャプチャーという仕組みもありますが、モーションキャプチャーが人やモノの動き方のみを捕らえるのに対して、ボリュメトリックビデオ撮影は、三次元の画像の記録、つまり「光をボクセルデータとして記録する」というのが大きな違いです。

　ボクセルとは、光と色だけを表す平面のグリッド（格子）ではなく、三次元立体のピクセルのようなイメージで、三次元画像の最小構成要素です。画像がピクセル（画素）から成り立っているのと同様に、三次元画像はボクセルから成り立っている、といえばわかりわすいでしょうか。

　ボリュメトリックビデオ撮影を行うためには、さまざまな手法がありますが、いずれにしても撮影画像から3D空間を再構成するわけですから、鍵となるのは、物体の映像をさまざまな角度から撮影すること、その物体がどこにあるのか位置情報を記録しておくことでしょう。

　複数同時にさまざまな位置からカメラで撮影し、それぞれの撮影画像から深度を推測して記録するというのは最も単純な方法で、最も古い手法はそれでした。

　現在では、LiDARスキャナーを組み合わせて深度を測定する方法がよく使われています。LiDARとは、光を検出して距離を測定する技術のことで、「光検出と標定」を意味する“Light Detection and Ranging”から来ています。光が飛んでくる時間を計るなどして、特定点ごとの距離を測ることができます。

VRも360度動画から6DoF自由度動画へ進化

　これらで記録された情報をもとに、マルチ・パースペクティブの3Dバーチャルシーンをレンダリングすることができれば、見る人はあらゆる角度と視点から前後左右上下を自在に動き回れる自由度を体感することが可能になります。

　通常の平面のスクリーンに映す映像の場合でも、これまで普通の映像では、カメラはせいぜい左右に動き、後ろから被写体前に迫るくらいでしたが、ボリュメトリックビデオ撮影データを使えば、まるでゲームの中のようにカメラが被写体と被写体の間をすり抜け、中空からそれらを俯瞰するといった、本当に意味での自由視点映像映像や複数の自由視点映像の切り替えが可能となるわけです。

　あるいは、ボリュメトリックビデオ撮影は「XR」、つまりVR（仮想現実）、AR（拡張現実）、MR（複合現実）といった、三次元情報の必要なコンテンツ向けに使われるデータ作成などにも応用されています。

　自由視点で風景や人物が描画できるのですから、プレイヤーの動きに応じてHMDが描画を行えばたとえば、これまでは頭の動きに合わせて360度動画程度しか表示できなかったVR動画も6DoFで体験できるようになる、というわけです。