インタビュー
クアルコム「Snapdragon 8 Gen 3」カメラ機能開発の背景、キーパーソンのヒープ氏に聞く
2023年10月27日 13:34
24日に発表されたスマートフォン向けのチップセット「Snapdragon 8 Gen 3」は、スマートフォンに備わるさまざまな機能を実現するためのチップセットのハイエンド製品「Snapdragon 8」シリーズの最新版だ。
そこに搭載される機能はどういった考えで開発されたものか。開発をリードするジャッド・ヒープ（Judd Heape）氏が日本メディアのグループインタビューに応えた。
――あらためて「Snapdragon 8 Gen 3」のカメラ・画像処理関連について、詳しく教えてください。
ヒープ氏
昨年、我々はコグニティブISPを発表しましたが、これはISP（画像処理プロセッサー）がNPU（機械学習関連を処理するプロセッサー）と密接に連携し、リアルタイムでセマンティックなセグメント（被写体を顔や髪、道など、物ごとに識別する）を行うことを意味するものでした。
今年のアップデートとしては、ISPが理解できるセグメントの数が8から12に増えたということ。つまり、セグメントが顔や髪だけではなく、「上半身」「空」「草」といったものでも分類できるようになったのです。
つまり、ISPがより正確に被写体を理解できるようになり、各セグメントごとに画質を向上できるわけです。
ハードウェアで、2つ目の進化点は、ISPの搭載数です。Snapdragon 865だったか、845だったか、もう何年も、3つのISPを搭載してきました。
すべてのISPがHDRに対応し、何の問題もなく同時に動作することも切り替えることもできます。
ただ、これまでHDRをサポートしていたISPは2つだけ。今回は3つHDRに対応しています。
3つ目の大きなハードウェアの変更は、いつでも、タッチなしでカメラを使った顔認証によるロック解除ができるということに関して。
以前はカメラ1つだけ動作するかたちでしたが、今回は2つ動かせる。つまり、QRコードのスマホ決済で、読み取りとロック解除を同時にできるということになる。これまでは、まずロックを解除して、アプリを起動し、決済するという流れが、認証とコード決済を同時に使えることになります。
はたまた、2つのカメラを同時に利用できるようにすることで、ある文書を見ながら会話する場面でも役立ちます。英語から日本語、日本語から英語と翻訳する際、背面のメインカメラで書類を捉えて翻訳し、前面のインカメラが話し手の顔を捉えて、スクリーンを見ているのか、別のところを見ているのか検知し、見ているときだけ画面を点灯させる、ということも実現できます。
――主にクリエイター向けになりそうですが、写真などが改ざんされていないか来歴を示す「C2PR（Coalition for Content Provenance and Authenticity）」もサポートされました。
ヒープ氏
今回のSnapdragon SummitではAI関連の話題が多いでしょう。AIを使えば、写真にも手を加えやすい。スマートフォンにAIを導入する一方で、そのこと自体に責任を持ちたかったんです。
カメラ機能における「C2PA」は重要です。その情報は、信頼できる環境で署名されます。ソフトウェアではなく、ハードウェアでの署名です。つまり、OSより下のレイヤーです。位置情報や、誰の端末で生成・作成・記録されたのかもわかります。
これにより、編集されていようがいまいが“信頼の根源”というべきものを保てるわけです。
それもオンデバイスであることに意味があります。写真を撮る際、毎回かならず通信する必要があるというよりも、手元のデバイス上で処理できるほうがいい。
もちろんAdobe Photoshopのようなクラウドツールを使うこともできます。
将来的には、アドビのような企業は、クアルコムのAPIを使って、ソフトウェアの代わりにハードウェアでC2PAを利用できるようになります。そうすれば、（ディープフェイクなのか、本当に撮影されたものか）写真をもう少し信頼できるものになります。
――今回、被写体の背景を変更する機能や、動画撮影後の編集で映り込んでしまった物を消す機能も発表されました。
ヒープ氏
カメラでは、現実の被写体を撮影していますが、その画像をAIで編集できますよね。そうなると、背景を置き換えることも当然できますし、動画では不要なオブジェクトも削除できる。
これらの機能は、いわば、フォトギャラリーアプリの編集ツールと思ってください。写真や動画を撮ったあとに使うものです。
――その編集履歴もC2PAに記録される？
ヒープ氏
そうです。ファイルの情報を見れば、履歴がわかります。
――ソニーとイメージセンサー（カメラで被写体を記録する部分）で共同研究しています。
ヒープ氏
（クアルコム本社のある）サンディエゴに共同ラボがあり、多くのことを一緒に取り組んでいます。今回の新たな発表としては、深度センサー（ToF）に関するものです。
（Snapdragon 8 Gen 3という）ハードウェアで直接サポートすることで、深度や点の情報を生成します。ソフトではなくハードで扱うことで、電力を大幅に、（従来の）20倍も節約できるんです。
ソニーとの共同ラボのおかげで、テストを実施しており、（スマホメーカーといった）顧客にすぐに提供できることがメリットでしょう。
――他社製品で、星空を撮影する機能がありますが、Snapdragonを搭載するスマートフォンではそうした機能を備えるものが見当たりません。
ヒープ氏
そうした機能は、クアルコムが直接、スマートフォンメーカーに提供することはないでしょう。いわば、編集機能のようなものだからです。メーカーのパートナー企業から提供される可能性が高いです。
クアルコムとしては、より良い画質、より正確な画質を追求します。しかし星や月を記録するようなエフェクトはサードパーティが提供できるものでしょう。
たとえば、今回発表した動画でのオブジェクト除去も、アークソフト社の技術によるものです。
――ありがとうございました。