オーケストラと合唱団がスマホでリモート演奏、どうやって制作？――KDDIが「音のVR」バーチャルコンサート

　119名のオーケストラと混声合唱団がスマホで繋がり、まるでステージ上でその演奏を楽しめる――そんな取り組みをVRコンテンツ化し、KDDIとKDDI総合研究所が8日、提供を開始した。

　コンテンツを楽しめるのは両社が提供する「新音楽視聴体験 音のVR」というアプリ。対応機種は、iOS 13以降のiPhone、iPad。無料で楽しめる。

80名のオーケストラ、39名の合唱団が参加

　VRコンテンツで配信されるのは、新日本フィルハーモニー交響楽団と東京混声合唱団が演奏する「Believe」。老若男女に親しまれる曲として選ばれたもの。新型コロナウイルス感染症の影響で、大規模なイベントの開催が難しい中で、新たな音楽鑑賞の提案として企画された。

　新日本フィルハーモニー交響楽団のフランチャイズホールである「すみだトリフォニーホール」を背景に、モニター状のオブジェクトが配置され、オーケストラと合唱団のメンバーの顔が表示される。

　聴きながら、VR空間上で視点を変えられるほか、演奏している人にピンチインして拡大すると、その周辺の音が大きく聴こえる、といった変化もある。

各自がスマホで収録、音声を同期してひとつのコンテンツに

　KDDIデジタルマーケティング部のマネージャーである宮崎清志氏によると、今回の企画がスタートしたのは5月中旬。もともと文化事業の一環としてさまざまな学校を訪れ「Believe」を演奏していたが、今回、オーケストラと合唱団という組み合わせになったことで、音のバランスを取るべく、1週間ほどかけて編曲家の手で、若干のアレンジが加えられた曲が作られた。

　新日本フィルハーモニー交響楽団では、この春、有志が「パプリカ」という曲をリモート演奏して、YouTubeで公開。話題を集めた。

　しかし今回は有志だけではなく全員の参加。さらに合唱団も参加する形。それぞれが利用するスマートフォンで撮影、収録することになったが、参加者全員がスマートフォンの扱いに習熟しているわけではない。実際に、インカメラとアウトカメラのどちらを使うべきか、あるいは縦と横、どちらで撮るべきか、はたまたスマートフォンと自分の距離はどの程度が良いのか……といった疑問も寄せられた。そこで取り組みに参加するプロデューサー側に一定のルールを用意してもらい、各メンバーの自宅で収録することになった。

KDDIの宮崎氏（左）とKDDI総合研究所の堀内氏（右）

　メンバーの中には防音環境が整備された中で収録できた人もいたが、そうではない人もいる。収録にあたっては、ご近所へ一時的に音楽を演奏することを断って臨んだ人もいるそう。

　それぞれの音はどうあわせることになったのか。手順としては、まずピアノ奏者に演奏してもらい、そのデータを配布。楽譜はもちろん、ピアノとあわせることで、離れ離れになっている119人の音をあわせるようにした。

　曲の演奏中はそうした工夫により、音がバラバラにならず時間もぴったり合っていたそうで、さすがプロフェッショナルの取り組み。それでも音の出だし、最初の始まりの部分がそれぞれ異なるため、ぴったり合わせることに苦労した、と語るのはKDDI総合研究所マルチモーダルコミュニケーショングループ研究マネージャーの堀内俊治氏だ。

　それぞれ収録する状況が異なるため、コンテンツに含まれるタイムコードがバラバラ。そこを手分けして、映像と音声の時間的同期を最後の最後まで調整してぴったり合わせるようにした。さらにKDDI総合研究所が開発した技術により、個々に撮影されたデータをサラウンドのように聴こえるよう変換し、ユーザーはまるで、ステージ上でオーケストラと合唱団に360度包まれるように「Believe」を楽しめる。

　新型コロナウイルス感染症の影響下であっても、新たな体験を模索するウィズコロナ時代に向けた取り組み。今後の広がり、進化にも期待したいところだ。

【お詫びと訂正 2020/06/08 18:35】
　記事初出時、「新日本フィルハーモニー交響楽団」の名称を誤って記述していた箇所がございました。お詫びして訂正いたします。