ニュース
KDDIが手掛ける「GINZA SIX」でのARパフォーマンスを体験してみた
2021年6月24日 06:00
銀座エリア最大の商業施設「GINZA SIX（ギンザ シックス）」。同施設の吹き抜けスペースで、KDDIが6月8日からARコンテンツ「Metamorphosis Garden_AR」を公開している（期間は2022年4月30日まで）。
同コンテンツは、彫刻家の名和晃平氏によるインスタレーション「Metamorphosis Garden（変容の庭）」を舞台に繰り広げられる、振付家ダミアン・ジャレ氏との共作によるARパフォーマンス。
現実とバーチャルがシームレスに混ざり合うアートの世界は、一体どんなものになっているのか？ 本記事では、同コンテンツの体験レポートをお届けする。
なお、コンテンツの体験に際して、KDDI サービス統括本部 5G・xRサービス戦略部 アライアンスビジネスグループ エキスパートの砂原哲氏に話を聞いた。
「Metamorphosis Garden_AR」の概要
GINZA SIXの吹き抜け部分に設置された「Metamorphosis Garden（変容の庭）」のテーマは、「生命と物質、あるいはその境界にある曖昧なものが共存する世界」。アルミナとマイクロビーズの粒で覆われた彫刻群は、混沌から生じる新たな物語を表現している。
今回体験した「Metamorphosis Garden_AR」は、指定のスポットからその彫刻群にiOSアプリ「AR×ART（エーアールアート）」をかざすと、利用者のデバイス上で、3分30秒のコンテンポラリーダンスのパフォーマンスが鑑賞できるというもの。
利用者のデバイスへ送られるパフォーマンスのデータは大容量の点群データとなっているが、auの5G通信を活用することで、スムーズな鑑賞体験を実現している。
パフォーマンスを実際に鑑賞する
鑑賞には、まず所定の鑑賞スポットを訪れる必要がある。スポットは現時点でGINZA SIXの5階に4カ所設置されており、今後は4階にもスポットが2カ所新設される見込み。
鑑賞は、スポットによって見え方が変わる。「たとえばGINZA SIXの中心から少し外れたエスカレーター脇の場所からは、彫刻群全体をデバイスの画面に収めた状態で視聴できるので、ARの演出の意図が最もわかりやすい」と砂原氏は語る。
彫刻群自体は4階を基準に設置されているため、彫刻群だけを見るなら4階がベストスポットといえるが、「彫刻群とARパフォーマンスの融合という点では、彫刻群を5階から俯瞰して見るのが最適」（砂原氏）だそう。
鑑賞スポットにはマーカーが設置されており、アプリ「AR×ART」でそのマーカーを読み込んで彫刻群にかざすと、ARパフォーマンスが始まる。
パフォーマンスでは、「パーティクル」と呼ばれるキラキラした細かな物体が渦巻き状に出現する。次第にそれが濃くなり、次に「ダンサー（精霊）」が現れる。渦巻のダンスを踊った精霊は粒子になって収束し、最後に「ビッグバン」が起きるという流れになっている。
幻想的な音楽とともに繰り広げられるパフォーマンスに見入っていると、上演時間の3分30秒間はまさしくあっという間。なお、アプリ上では、この上演が3回繰り返されるよう設定されている。
現実とバーチャルが溶け合う不思議な空間は、ぜひ現地で体験してみてほしい。今回はiPad Proの内蔵スピーカーを用いての体験となったが、「没入感を高めるためには、ノイズキャンセリング機能付きのイヤホンを推奨している」（砂原氏）。
5Gネットワークの活用
ARパフォーマンスのデータを利用者のデバイスに送る上で、不可欠な役割を果たしているのがauの5G通信だ。GINZA SIXの3階と5階にはauの5Gネットワークが整備されている。
鑑賞にあたって推奨されている環境は、iPhoneの5Gモデルとauのデータ使い放題料金プラン。「au 5Gエクスペリエンス」のAPIにより、利用者のデバイスが5Gの電波をキャッチしているかどうかや、同プランに加入しているかどうかを判断する。
推奨の環境にあてはまらない場合は、専用のWi-Fiに誘導するような形を取っている。スムーズさは落ちる可能性があるが、上記の条件にあてはまらない利用者もコンテンツを体験できるとのことだ。
「点群データ」を特殊な技術によって圧縮
前述した通り、ARパフォーマンスの上演は、利用者のデバイスにデータを一時的にダウンロードする形となっている（データは上演後に消去される）。
この時の一時データの容量は400MB。20万点の「点」のデータが入っており、元々の容量は40GBだったというから驚きだ。これを特殊な技術によって400MBに圧縮している。
なお、当初はデータをストリーミングする形で提供しようとしたが、懸念とされたのは「電波状況の悪化などによって、上演が止まってしまうこと」（砂原氏）。その後、データを400MBに圧縮できたため、アート表現を最大限伝えられる方法として、一時的なデータのダウンロードという形が採用された。
複雑な形状の彫刻ゆえの難しさ
今回、現実の彫刻の上にARを精緻に重ね合わせてリッチなコンテンツを作るということが、技術的には非常に難しかったという。その理由は、「Metamorphosis Garden（変容の庭）」の複雑な形状にある。
「複雑な島の形状（アウトライン）に沿って、島を隠さずにパーティクルの粒子を走らせるのが難しかった。仮に彫刻がシンプルな球体であった場合、技術的な難易度はぐっと下がる」と砂原氏は語った。
最先端の技術を活用
「Metamorphosis Garden_AR」では、フィンランドのベンチャー企業による「空間マッピング」の技術を活用し、現実空間を3Dスキャンしている。その上で利用者の位置を「自己位置推定」の技術で認識し、彫刻群に対して正確にARを重ね合わせる。
砂原氏は、「技術的にはマーカーレスでも問題ないが、彫刻群とARの重なりをより正確にするため、マーカーを使用している」と紹介した。
ダミアン・ジャレ氏のこだわり
「Metamorphosis Garden_AR」におけるダンスの映像は、モーションキャプチャシステムの「Kinect（キネクト）」で撮影されたもの。互いがぶつからないように舞うダンスの動きには、「ボイドモデル」というシミュレーションプログラムが採用されている。
このような手法の採用に至った理由は、実は振付家ダミアン・ジャレ氏のこだわりにある。
KDDIでは当初、「ボリュメトリックキャプチャ」という技術でダンスの映像を作成しようとした。ところが、同氏が来日した時に、同技術だと「ダンスで重要な皮膚の細かい部分などを表現しづらい」ということになり、Kinectによる点群データを採用することになったという。
技術はあくまでもサポート役、優先すべきはアート
「Metamorphosis Garden_AR」は、日本の文化芸術体験を最新技術で拡張するプロジェクト「au Design project［ARTS & CULTURE PROGRAM］」の一環として公開されている。
砂原氏は同プロジェクトについて、「技術をただアピールするためだけのプロジェクト」ではなく、「アートとしてのクオリティを最大限高め、表現を正しく伝えることが最優先で、技術はあくまでそのサポート役」と強調する。
たとえば、先に紹介したアプリ「AR×ART」はiOS向けとなっている。同氏は、「Androidでも作ろうと思えば作れるが、Androidは画面のバリエーションが多岐に渡るため、それへの対応が難しかった。デリケートな作品なので、iOSでの提供に集中し、最初から手を広げることはしなかった」と語る。
また、上演では20万点の点群データが動くため、デバイス側のGPUも一定の性能を備えている必要がある。「現在はiPhone 12シリーズ以上とiPad Pro 2020年モデル以上を推奨デバイスとしているが、たとえばこれをiPhone Xにまで対応させようとすると、点群データの『点』の数を減らさなければならないため、それは見送った」という同氏の言葉からは、アートの表現を最優先させようとする姿勢が垣間見える。
「au Design project」に込められた思い
「au Design project［ARTS & CULTURE PROGRAM］」の名前の一部である「au Design project」は元々、KDDIがメーカーと手を組んで携帯電話端末のデザインを開発するプロジェクトとして、2002年に始動したもの。
デザイン性に優れた携帯電話端末「INFOBAR（インフォバー）」「talby（タルビー）」といえば、その名をご存じの方も多いのではないだろうか。これらの端末も、同プロジェクトによって生まれたものだ。
しかし、2018年に発売されたINFOBAR 15周年記念モデル「INFOBAR xv」を最後に、「au Design project」でのプロダクト開発は休止状態となっている。砂原氏は、「状況が少しずつ変化し、メーカーさんと手を組んでプロダクトを開発するのは難しくなった。ただ、環境が整えば（プロダクトの開発も）再開したい」と意欲を見せる。
ハードウェアのプロダクトから、XRや5Gなどのソフトウェア寄りへとゆるやかにシフトしながらも、「au Design project」における出発点のコンセプト「日本のデザイン文化への貢献」は不変のまま通底している。
およそ20年もの間、同プロジェクトでKDDIが培ってきたエッセンスが、今回の「Metamorphosis Garden_AR」にも確かに受け継がれている。
【修正 2021/06/28 23:00】
初出時、データの圧縮に関して「200GB→500MB」と記載していましたが、KDDIが訂正し、正しくは「40GB→400MB」です。本文は修正済みです。