Pixel 9/10のAI処理が50％高速化、130MBのメモリー節約と電池持ちを改善するグーグル「Gemini Nano v3」新技術とは

　Googleは、オンデバイスAI「Gemini Nano v3」モデルの推論性能を劇的に高速化するマルチトークン予測（MTP）アーキテクチャを開発した。既に「Pixel 9」および「Pixel 10」向けに展開されており、「Pixel 9」シリーズでは50%以上の速度向上が確認されたという。

　従来の生成プロセスや個別のドラフトモデルによるボトルネックを解消し、バッテリー消費を抑えながら、通知要約や文章校正などの高速なAI処理を実現している。

　モバイルデバイス向けの生成AIには、1度に1つのトークンしか生成できず、プロセッサの処理能力には余裕がある一方で、メモリー帯域幅を圧迫していた。これに対する解決策として、推測的デコーディングがあるが、独立した別モデルを動作させるとモバイルデバイスの限られたRAMを大量に消費する問題がある。

　この問題を解決するため、メインモデルの最終層にTransformerヘッドを追加する手法を取り入れ、学習済みの「Gemini Nano v3」の重みを凍結し、追加したMTPヘッドのパラメーターのみを学習させる。

　これにより、ベースモデルの性能や安全性を損なわずに効率化を後付けしたという。独立した別モデルを立ち上げる場合と比較して、AIを実行するごとに約130MBのメモリー使用量を削減できる。

　メインモデルが一度計算したデータをコピーせずにそのまま使い回す「ゼロコピーアーキテクチャ」を採用。これにより、別モデルを立ち上げる場合と比べてAIの処理1回につき約130MBのメモリーを節約しつつ、より高い精度で次のトークンを予測できる。

　推論パスごとに平均して約2つの追加トークンを正確に予測したほか、処理内容によってはデバイス上で50%以上の向上がみられた。また、検証ステップ数の減少により重い処理が減少し、結果としてバッテリー持続時間の改善にも繋がったという。

　グーグルは、今後登場するデバイスへの統合を進めると共に、複数パターンの同時予測や、特定のユースケースにおける検証条件の緩和など、エッジコンピューティング環境に特化した効率化手法が研究されている。