ニュース
楽天、日本語に最適化した新たなAIモデル「Rakuten AI 2.0」を発表
2024年12月18日 16:56
楽天グループは、Mixture of Experts（MoE）アーキテクチャを採用した、新しい日本語大規模言語モデル（LLM）「Rakuten AI 2.0」と、小規模言語モデル（SLM）「Rakuten AI 2.0 mini」の2つのAIモデルを発表した。
AIアプリケーションを開発する企業や技術者などの専門家を支援することを目指しており、来春を目途にオープンソースコミュニティに向けて公開される予定。
高効率な先進モデル「Rakuten AI 2.0」
「Rakuten AI 2.0」は、日本語に最適化した高性能なLLMの基盤モデル「Rakuten AI 7B」をもとに開発したMoE基盤モデル。このLLMは、8つの70億パラメータで構築した「エキスパート」と呼ばれるサブモデルで構成されており、トークンはルーターによって最適な2つの「エキスパート」に処理される。それぞれの「エキスパート」とルーターは、高品質な日本語と英語の言語データを用いた継続的な学習を行っている。
また、「Rakuten AI 2.0」は、入力トークンに対して最も関連性の高い「エキスパート」を動的に選択する高度なMoEアーキテクチャを採用しており、計算効率と性能を最適化している。これにより、8倍規模の高密度モデルと同等の性能を発揮しつつ、計算量を1/4程度に抑えることができるという。
楽天は、LLMの評価コード「LM-Harness」を使用して、モデル評価を実施。その結果、日本語における平均性能は「Rakuten AI 7B」と比較して8つのタスクで62.93から72.29に向上したという。
| 基盤モデル名 | 日本語スコア | 英語スコア | 平均スコア |
| Rakuten/Rakuten AI 7B | 62.93 | 34.86 | 48.90 |
| Rakuten/Rakuten AI 2.0 | 72.29 | 41.32 | 56.80 |
| Tokyotech/Swallow-MX-8x7B-NVE-0.1 | 66.17 | 44.33 | 55.25 |
| Tokyotech/Llama-3-Swallow-70B-v0.1 | 68.15 | 51.52 | 59.84 |
| SBIntuitions/Sarashina2-70B | 71.09 | 39.22 | 55.16 |
| PreferredNetworks/PLaMo 100B | 71.45 | 36.48 | 53.96 |
アプリ向けのコンパクトで効率的なモデル「Rakuten AI 2.0 mini」
「Rakuten AI 2.0 mini」は、楽天が初めて開発した15億パラメータの基盤モデル。このSLMは、コンパクトなモデルのためモバイル端末へ導入でき、データをリモートサーバーに送信することなく自社運用できる。SLMはプライバシーの保護、低遅延、コスト効率が重視される特定のアプリケーションに適した形で活用できるとしている。
さらに「Rakuten AI 2.0 mini」は、内製の多段階データフィルタリング、アノテーションプロセスを通じて、キュレーションおよびクリーンアップされた広範な日本語と英語のデータセットで最初から学習されている。そのため、テキスト生成において高性能かつ高精度な処理を実現している。