Meta、ネイティブマルチモーダルAI「Llama 4」シリーズを発表

　米メタ（Meta）は5日、よりパーソナライズされたマルチモーダル体験を可能とする「Llama 4」シリーズを発表した。本シリーズには「Scout」「Maverick」「Behemoth」の3つのモデルがあり、ScoutとMaverickはダウンロードして利用できる。

　Llama 4は、Llamaシリーズとして初めてMixture of Experts（MoE）アーキテクチャを採用したモデル。MoEとは、複数の「エキスパート」と呼ばれるサブネットワークを持ち、入力ごとに最適なエキスパートを選択して処理を行う手法のこと。

Mixture of Experts

　「Scout」は、16のエキスパートを持つ170億（17B）のアクティブパラメーターモデルで、1台のNVIDIA H100 GPUで動作する。各種ベンチマークにおいて、Googleの「Gemma 3」「Gemini 2.0 Flash-Lite」、Mistral AIの「Mistral 3.1」よりも優れた性能を示しているという。

　一方、「Maverick」は128のエキスパートを持つ、同じく170億（17B）のアクティブパラメーターモデルであり、1台のDGX H100システムで利用できる。ベンチマークではOpenAIの「GPT-4o」や「Gemini 2.0 Flash」を上回り、推論やコーディングタスクでは、アクティブパラメーター数が半分以下でありながら、DeepSeekの「DeepSeek v3」と同等の結果を達成したとされている。

　Llama 4では、事前学習に初期融合（early fusion）を採用し、大量のラベルなしテキスト・画像・動画を用いて、マルチモーダルな共同学習が可能になった。

　多言語対応の強化も進められており、Llama 4は200の言語で事前学習されている。そのうち100以上の言語には、それぞれ10億以上のトークンが使用されており、Llama 3と比較して10倍以上の多言語データが取り込まれている。

　なお、シリーズ中で最も大規模な「Behemoth」は、16のエキスパートを持つ2880億（288B）のアクティブパラメーターモデル。いくつかのSTEM系ベンチマークにおいて、OpenAIの「GPT-4.5」、Anthropicの「Claude Sonnet 3.7」、およびGoogleの「Gemini 2.0 Pro」よりも優れた性能を示している。ただし、「Behemoth」は現在もトレーニング中。

　Metaは、安全対策（セーフガード）や保護機構についても公開している。「Llama 4」は、同社の「Developer Use Guide: AI Protections」（開発者向けユーザーガイド）のベストプラクティスに基づいて設計されているという。

　また、システムレベルでは、潜在的に有害な入力・出力を検知し防止するための安全策がオープンソースで提供されている。政治的・文化的に偏りやすい内容に対しては、Llamaが偏見なく多様な視点を理解し、公平に応答できるよう設計されているとしている。