ニュース
スマホ向け最新チップ「Snapdragon 8 Gen 3」がもたらす“カメラ×生成AI”はどんな体験を実現するのか
2023年10月27日 00:01
24日に発表されたクアルコムの最新チップセット「Snapdragon 8 Gen 3」では、スマートフォン上で生成AI関連の処理を担うことが大きな特徴として打ち出されている。
では、ユーザーがもっとも利用する機能のひとつであるカメラではどんな機能が実現するのだろうか。クアルコムのプロダクトマーケティング担当者であるジェリー・チャン氏によれば、「あらゆる照明のもとで画質を飛躍的に向上させる」こと、そして「3つの画像処理プロセッサー（ISP）を用いてパワフルなセンサーとして利用できるようにする」ことだという。
被写体を識別する「セマンティックセグメンテーション」の進化
約1年前の「Snapdragon 8 Gen 2」では、セマンティックセグメンテーションと呼ばれる技術がカメラ関連で導入された。被写体を捉えると、画像認識技術で「ここは人の顔」「ここは髪」などと識別して、その対象にあわせて背景ボケを加えたり、被写体に応じて画質がアップしたりするような加工を実現する。
認識技術はさらに今回進化しており、特に動画で従来よりも劇的な変化をもたらすという。
動画撮影にセマンティックセグメンテーションを組み合わせる機能のひとつとして紹介されたのが「Vlogger's View（ブイロガーズビュー）」と名付けられた機能。
これは、背面のメインカメラと前面のインカメラを同時に利用しつつ、メインカメラで捉えた風景に、インカメラのユーザー本人を合成するというもの。
実際に試したところ、リファレンスモデルのスマートフォン型デバイスでは、やや操作がぎこちなくはあったが、撮影する自分の姿をメインカメラに合成する様子を体験できた。編集する行程を経ずに、一台のスマートフォン、一度の撮影でイベント時に、周囲の様子を記録したい、それでいて自分自身も配信者として登場したいといった場合にピッタリな機能だ。
背景を変更する
コロナ禍を通じてリモートワークが広がると、ビデオ会議アプリでは、参加者の背景を実際の風景とは別のものに置き換えられる機能が広がった。
「Snapdragon 8 Gen 3」では、同様の機能を、スマートフォンのカメラで撮影する際に実現する。これもまた、被写体を識別するしくみが活きている。
動画で「邪魔な被写体を消去」
映像の進化を進めるため、「Snapdragon 8 Gen 3」のビジュアル分析エンジンは進化した。特に、被写体やその背景、周囲との距離を測定する深度センサー機能の向上が挙げられる。
今回、新たに3D ToF（Time Of Flight）センサーをサポート。競合他社と比べ、深度を測定する際、3000倍以上の解像度を得られるという。これにより動画撮影時の画質をさらに向上できる。
また、Snapdragonに最適化されたセンサーの一例として、ソニーセミコンダクタソリューションズが手掛けるLYTIA（ライティア）ブランドのセンサー（IMX611、IMX518、IMX316）が対応製品になることも紹介された。
こうした取り組みにより、「Snapdragon 8 Gen 3」では、動画を撮影する際、本来の被写体以外に別の人物が映り込むといった場面でも、その邪魔な対象を削除できる機能（ビデオオブジェクトイレーサー）が用意されることになった。
米ArcSoftの技術も用いられており、撮影後の編集で、消したい対象をタップするだけで消える。
夜の動画撮影も明るく
また、夜のような暗い場面での動画を明るく記録する「ナイトビジョン」も新機能のひとつだ。
デモンストレーションでは、1ルクス以下の暗い環境でも、色鮮やかに映像を記録できる様子が披露された。
こうした場面では、1秒間に30フレームで記録していても、フレームレート変換エンジンにより、60フレームに変換して、よりなめらかな映像にしてくれるという。
サムスンの2億画素センサーを最適化
Snapdragonに最適化された、サムスン製の2億画素（200メガピクセル）センサーにより、より広い解像度で動画を取りつつ、細かい部分にズームする、といった使い方を実現するという。
スポーツ中など、動きの大きい被写体では、ついカメラを向ける方向を動かしたくなるが、2億画素センサーで捉えた映像であれば、スマートフォンを動かさず、自動的に動き回る選手だけを切り出した映像に仕上げられる。そのズームされた映像も、4Kサイズになるという。
スマホカメラで肌の水分をスキャン
独BASF社の子会社であるtrinamiXが、スマートフォン向けに小型化された分光センサーを開発しており、今回、Snapdragonと組み合わせることで、肌などの水分量をスキャンできることも紹介された。
顔認証によるロック解除も新技術でスピードアップ
メタレンズ（metalenz）社のPolarIDという技術では、世界初のポラリゼーション（偏光）センサーが、従来、顔認証で用いられていたセンサーと比べ半分のサイズに小型化されており、「Snapdragon 8 Gen 3」との組み合わせで、よりスピーディに顔認証によるロック解除を実現する。
先述した肌スキャンも、顔認証のスピードアップも、Snapdragon 8 Gen 3で、新たに追加されたセンシング用ISPで活用できるようになった。
追加されたセンシング用ISPは、従来、1つだけだったが、今回2つ目が追加されたという。これにより、メインカメラやインカメラに加えて、ほかの用途で使う光学センサーも同時に動作できる。
光を捉えて記録する、つまり写真や動画を撮るといった用途に加えて、「Snapdragon 8 Gen 3」では、周囲の様子をスキャンする光学センサーという用途でも活用できる。
先述した画質の向上、そしてセンサーとしての活用という2つは、「Snapdragon 8 Gen 3」に導入された画像処理技術のアップデートがもたらす画期的な進化ポイントになる。はたして、今後登場する「Snapdragon 8 Gen 3」ではどういった機能が用意されることになるのか、今後のスマホメーカーの発表に期待したいところだ。