MediaTek、オンデバイスの生成AI強化に向けてMetaの言語モデル「Llama 2」と連携

　MediaTekは、Metaのオープンソース大規模言語モデル（LLM）「Llama 2」と連携し、同社の生成AI機能を強化することを発表した。スマートフォンや自動車、スマートホームなどエッジデバイス用のAIアプリ開発を加速するものになるとしている。

　現状、生成AIの処理のほとんどがクラウド上で実施されいるが、今回の取り組みにより、ユーザーのデバイス上（オンデバイス）で生成AIアプリケーションを直接実行できるようになるという。これにより、プライバシー保護やセキュリティの向上、信頼性の向上や遅延の低減、オフライン環境で実行できるといったメリットが享受できるとしている。

　同社では、オンデバイスで生成AIを活かすことができるチップセットはすでに出荷されているとした上で、今年（2023年）後半に発表予定のフラッグシップモデルのチップセットでは、Llama 2を実行するために最適化されたソフトウェアスタックに加え、Transformerバックボーンアクセラレーションを実装してアップグレードしたAPUを搭載するという。

　実装時の面積とメモリー（DRAM）帯域幅の使用を削減することで、生成AI性能を強化、これによりオンデバイス生成AI機能を短期間で試作できるようになる。