ニュース

画像生成の技術でテキスト生成。ELYZAが日本語に強い「拡散言語モデル」を公開

2026年1月16日 13:18

　KDDI傘下でAI開発を行うELYZAは、KDDIのGPU基盤を利用して、日本語における知識・指示追従能力を強化した拡散大規模言語モデル「ELYZA-LLM-Diffusion」シリーズを開発し、商用利用できる形で公開した。

拡散型大規模言語モデル

　拡散型大規模言語モデルは、画像生成AIなどを中心に活用されたモデルを言語生成に活用したもので、逐次的なテキスト生成モデルと異なり、段階的にノイズを除去してテキストを生成する。

　拡散型大規模言語モデルでは、元のデータにノイズを加えてノイズだけのデータに変換する処理を行い、そこからノイズを取り除く逆拡散過程を学習させることで、綺麗なデータをノイズから生成できるという。

　この生成方法のメリットとして、設計次第ではより少ない処理回数で生成が可能になる。結果、推論をより効率化し、生成速度向上や消費電力低減が期待できる。

　拡散型大規模言語モデルは、学習コストの高さや性能面での課題に加え、推論基盤等のエコシステムが成熟途上であることから、現時点での実利用は限定的という。一方で、基礎研究は着実に進展していて、将来的に実用化が期待されている。

拡散型大規模言語モデルと自己回帰モデルの生成プロセスの違い

　同モデルの日本語タスクにおける性能を示すためのベンチマークでは、一般的な日本語能力が問われるタスクにおいて、「ELYZA-Diffusion-Instruct-1.0-Dream-7B」が、既存のオープンな拡散型大規模言語モデルと比較して、同等かより優れた性能を発揮した。

　拡散型大規模言語モデルは、少ない処理回数で文章を生成する特徴をもち、自己回帰モデルと比べて短時間かつ、電力消費を抑えて生成できる可能性がある。

　同社は、今回の研究を進め、より電力効率に優れる高性能な日本語LLM開発を加速するねらいがあるという。