ニュース
ソフトバンクが新体操・体操で映像技術協力――低遅延／自由視点映像／3Dアバター作成の裏側とは
2021年11月8日 00:00
ソフトバンクは、協賛した「2021世界体操・新体操選手権北九州大会」において、テレビ朝日に対して映像に関する技術協力を行った。
これまで同社では5G通信による低遅延映像ソリューションなどを行っていたが、今回の技術協力ではどのようなしくみで映像を配信したのか。
今回は同社サービス企画本部コンテンツ推進統括部プロダクト開発部部長の大塚 哲治氏に話を聞き、実際に一部のソリューションを体験してきた。
提供した3つのソリューション
今回の大会でソフトバンクは、「AI自動追尾カメラ・超低遅延配信」（新体操）、「自由視点映像」（体操）、「誰でも体験選手3Dアバター」のソリューションで、テレビ朝日に技術協力を行った。
テレビ朝日では、中継映像や識者による解説、情報番組での放送などで利用された。
AI自動追尾カメラ／超低遅延配信
AI自動追尾カメラ・超低遅延配信は、10月27日～31日に西日本総合展示場新館（福岡県北九州市）で開催された「第38回世界新体操競技選手権」にて活用された。
このソリューションでは、AIが無人で選手だけを識別、追尾して撮影し、その映像を超低遅延でダブレットに送ることができる。
自動追尾カメラでは、設置された小型カメラが、選手を自動で認識し追尾するほか、複数の選手が広がると全体を捉えられるようズームアウトとピント調整を自動で行う。映像の中に審判などが含まれていても、選手以外の人物は認識せず、選手のみをフォーカスできるという。
大塚氏によると、選手の識別や画の撮り方といった技法は、すべてAIによる機械学習によるもので習得したという。今回は、中継映像などを含めた素材で1週間かけて機械学習させたが、応用すれば体操以外の競技での応用も期待できるとしている。
自動追尾カメラは、同会場で3カ所に設置し、3カ所からのマルチアングル映像をユーザーに届けた。
一方、超低遅延配信では、自動追尾カメラで撮影した映像を、観客席のユーザーの手元にあるタブレットに超低遅延で配信した。これまで10数秒の遅延がかかっていた映像配信が、今回のソリューションでは0.1～0.3秒の遅延で配信できた。
ソフトバンクがこれまで取り組んでいた映像配信ソリューションでは、5Gなどを使った通信網の超低遅延化を実施していることが多かったが、今回は通信網以外の部分「エンコード」「配信システム」「アプリ再生」といった部分にも低遅延化する仕組みを取り入れたという。
自由視点映像
自由視点映像は、10月18日～24日に北九州市立総合体育館（福岡県北九州市）で開催された「第50回世界体操選手権」にて活用された。
同ソリューションでは、複数台のカメラで同時に競技を撮影することで、ユーザーが自由な視点で映像を視聴できる。
今回は、鉄棒の周囲に20台のカメラを設置し同時に撮影。みどころやハイライト映像をタブレットに配信し、かんたんな操作で自由視点映像を楽しめる。
たとえば、画面タップで一時停止、ピンチイン／アウトで拡大縮小。左／右のスワイプで映像を回転、上／下のスワイプで1/60秒のコマ送りができる。
同ソリューションの特徴の一つとして大塚氏は、機材を小型化できる点を挙げる。20台のカメラは小型のもので、映像を分析するサーバも小型のものを1台設置するだけなので、短時間での設営ができるという。
誰でも体操選手3Dアバター
テレビ朝日の情報番組などで取り上げられたという「誰でも体操選手3Dアバター」ソリューションでは、スマートフォンを使って簡単な撮影だけで3Dモデルを作成できる。
また、作成した3Dデータは、スマートフォン上でダンスをさせたり、体操競技の「つり輪」をARでさせたりできる。
今回は、筆者もアバターを作成してみた。
作成時、「顔」と「身体全体」を撮影する。担当者から事前に説明を受けていたこともあり、撮影自体は非常にスムーズに終了した。
顔は左右上下からのデータを撮影する。シャッターを切るなどの操作はなく、画面表示にしたがって顔の向きを変えることで自動的に撮影される。
全身の撮影では、カメラをスタンドに固定し、肩幅程度に足を広げて撮影する。360度の写真を撮影するため、被写体自身が身体を10秒かけて一周すると撮影できる。
筆者撮影時は8秒あたりから駆け足で回転してしまったが、うまく撮影できているようだった。
アバターの生成は、クラウド上で5分程度で作成が完了する。生成のためにデータを送信するため、少々時間はかかるが、画像の解析と生成はクラウド上で行うため、ユーザーのスマートフォンのスペックが低くてもアバターを生成できるという。
作成されたアバターでは、服のしわなども再現されており、キレッキレのダンスを踊らせることができる。
ソフトバンクでは、今回の技術協力の成果をふまえ、ユーザーの声を拾いながら今後の活用を模索するとしている。