KDDI、「モナリザ」を立体で見られる自由視点VRインスタレーションを公開

　KDDIは11月1日から11月4日までの4日間、東京お台場にある日本科学未来館で開催される「MUTEK.JP 2018」をMUTEK Japanと共同開催する。MUTEK.JPは音楽とテクノロジーを組み合わせた祭典で、アートとデジタルを組み合わせたさまざまなインスタレーションやパネルセッションが開催されている。その中でKDDIとKDDI研究所は、自由視点VRと音のVRを組み合わせたインスタレーション、「Block Universe #001」を出展している。

インスタレーションの体験エリア。対数螺旋っぽいのは腰の高さの手すりで、体験者はそれに沿って動いていくという流れ。螺旋の収束点のちょっと手前あたりに仮想の「壁」があり、奥の椅子の位置にモナリザが居る

体験者はこんな感じでARヘッドセットとBluetoothヘッドセットを装着する。何もない場所に体験者だけが何かを見ているという、AR/VR定番の状態となる。一応メガネの上から着用できるが、デザイン的にけっこう重ねがけしづらい

　Block Universe #001はARヘッドセットを使ったインスタレーション。体験者が透過型ディスプレイを搭載するARヘッドセットを着用すると、部屋に壁があらわれ、額縁におさめられたモナリザの絵が掛けられているのが見える。スタート位置から手すり沿いに進んでいくと、壁を通過することができて、壁の向こうに行くと、絵のように見えたモナリザが実は全身のある立体物で、座った状態でちょっと動いたりしてるのが見える、という仕掛けになっている。

　このモナリザはCGではなく人間の実写映像で、特殊メイクで絵画のような見た目を再現している。この人間の実写映像を立体モデルに変換し、それを仮想空間上に見せるところまでの部分で、KDDIの技術が使われている。今回の場合、被写体を8台のカメラで同時に動画撮影し、自動処理を行なうことで、被写体を立体モデル化している。

　今回のインスタレーションで使われているモナリザは、立体モデルを生成したあと、手作業で修正も加えているが、リアルタイム処理で似たようなことも可能となっている。インスタレーション体験エリアの隣には簡易的な撮影スタジオも設置されていて、そちらに座った人物をモナリザの代わりに仮想空間に配置するという、いわゆるテレプレゼンスのようなこともできる。ただしリアルタイム処理の場合は立体モデルを作るのではなく、カメラとカメラのあいだの映像を補完するような手法で、全方位から見た映像を作り出しているという。

ARヘッドセット内の表示を強引に撮るとこうなる。仮想空間の壁に近づいた状態で撮影しているので、額縁と絵がずれている。立体的に配置されているのでこう見えるのである。なお、これはリアルタイム撮影から生成しているモデルだ

モデルの切り出しが上手くいかないと、こんな感じで手が浮いてしまったりする。スタジオ背景と被写体女性の衣装がともに黒なので、このケースでは切り出しの精度は落ちやすいようだ

隣に設置された簡易スタジオ。かなり照明を当てている。背景は黒で、クロマキー合成でお馴染みの青や緑ではない

モデル例。ちなみにこの顔はモナリザ風に作られたマスクで、素顔ではない。ウィッグ付きで、誰でも仮想空間上にモナリザとして入り込めるという趣向だ

　この自由視点VRの技術は、すでに展示会などでも公開されていて、サッカーや野球の試合などで実証実験が行なわれたこともあるが、まだ商用展開はしていない。ちなみにKDDIが昨年出資している4D REPLAY社も同じような仕組みの自由視点映像技術を持っていて、こちらはたとえば2017年、プロ野球の日本シリーズ中継で使われているなど、国内外で商用展開をしている。

　身近な例で言うと、最近Facebookが導入した「3D写真」と似た機能とも言えるが、iPhoneのデュアルカメラを使う3D写真に比べると、KDDIの自由視点VRでは使っているカメラの数が多く、撮影している角度も広い。そのため、Facebookの3D写真はほんの狭い角度でしか動けないが、KDDIの自由視点VRだと被写体の横に回り込んで見ることも可能となっている。

ODGのR-9。普通に売っているデバイスではなく、買おうとしても時価らしい。ちなみに日本での無線技術適合証明はODGではなくKDDI名義で取得している模様

　今回のインスタレーションで使われているヘッドセット機材は、KDDIが提携しているODG社によるARヘッドセットの「R-9」だ。R-9はコンシューマー向け製品ではないが、視野角が50度と広いなど、ARヘッドセットとして高機能な部類に入る。サングラス型デザインにバッテリまで内蔵していて、ケーブルなしにワイヤレスで動作する。

　R-9はSnapdragon 835を搭載し、単体でスマートフォン並の画像処理能力を持つが、それでも立体モデルをリアルタイムで受信し、処理する能力には足りないため、画像は別に設置されたサーバー側で処理している。R-9は6自由度（6DoF）、つまりXYZ軸方向の移動と回転をジャイロセンサやカメラ映像から検出し、その座標データがサーバー側に送られ、その視点の映像をサーバーが作ってR-9でストリーミング再生しているという。仕組み的にはVR酔いにつながる表示ラグが生じやすい構成だが、実際に体感してみたところ、大きな違和感を感じるようなことはなかった。

ODGのR-9とソニーのノイズキャンセリングヘッドセットを使っている

　音声についても仮想空間を使った立体的なものとなっている。仮想空間上に6個ほどの音源があり、その音源からの距離に応じて音の大きさやエフェクトが変わるようになっている。MUTEK.JPは「音楽とテクノロジーの祭典」でもあるので、音響には力が入っていて、インスタレーションではソニーのワイヤレスノイズキャンセリングヘッドホンのハイエンドモデルが利用されている。

　KDDIでは同社が開発の自由視点VR技術について、これまでは主にスポーツ分野で実証実験をしていたが、今回は初めてアート分野での活用となる。MUTEK.JPはアートコンテンツ自体を見せる場としてだけでなく、アーティストがテクノロジーやコミュニティと出会う場としての側面もあり、KDDI以外でも最新技術を応用した作品が多数出展されている。とはいえ、ほかの展示ではたとえばHTC Viveなど、市販されている技術を使ったものが中心で、KDDIによるBlock Universe #001は、MUTEK.JPの中でも飛び抜けて最先端な展示のようだ。

　なお、MUTEK.JP 2018における、このKDDIの展示Block Universe #001は、ヘッドセットのセッティングなどの時間がかかるため、体験人数を限定していて、抽選となっているので、実際に会場に行かれる方は注意が必要となる。