向いた方向の音が聞こえる「音のVR」、KDDI総合研究所が開発

　KDDI総合研究所は、VRなどの360度映像で、視聴者が向いた方向の音を聞きやすくする、音場のズーム合成技術を開発したと発表した。「CEATEC JAPAN 2017」のKDDIブースでデモされる。

　今回開発された技術は、VR映像などを視聴している際、正面にとらえている範囲や、映像のズーム操作を行った範囲の音だけを聞きやすくするというもの。VRヘッドセットなら顔の向きに音が連動するため、これまでにない臨場感のある音場を実現できるという。

　たとえば、視聴者を囲むように5人が並び、それぞれ楽器を演奏している映像では、正面にいる人の演奏がはっきりと聞こえ、ほかの人の演奏は小さく抑えられる形になる。映像のズーム操作を行えば、さらに（映像上の）正面の人に“集中して聴いている”感じになる。

　この技術に対応する音声データは、特殊な機材は不要で、カメラの周囲に数本のマイクを水平360度で設置するだけで収録できる。指向性のある市販のマイクを、等間隔で4～6本設置すれば、効果が得られるという。音源が1方向からという環境なら、マイクの本数を減らすことも可能。

　360度の映像と、映像に同期しているマイクの設置本数分の音声データがあればコンテンツとして成立し、スマートフォンなどのアプリで再生する際に、スケーリング、シフト、マスキングといった処理で、任意の範囲のステレオ音場をリアルタイムに合成する仕組みになっている。空間的に自然な広がりを持ったまま処理されるほか、高速化技術によりスマートフォンやタブレットで処理できるのも特徴という。

　また、VR映像に合わせる目的でバイノーラル録音で収録されている立体音響データや、5.1chサラウンド向けの音声データを、今回開発されたズーム合成技術向けに変換することも技術的には可能としている。

　KDDIの総合研究所では、スポーツ、イベントなどさまざまな場面で評価を進め、早期の実用化を目指す方針。