楽天、日本語に最適化したオープンな大規模言語モデルを公開

　楽天グループは、日本語に最適化した大規模言語モデルの基盤モデル「Rakuten AI 7B」、チューニング済みモデル「Rakuten AI 7B Instruct」、さらにチューニング済みモデルをもとにファインチューニングを施したチャットモデル「Rakuten AI 7B Chat」をオープンモデルとして公開した。7Bという名称が示す通り、70億パラメータのモデルになる。

　「Rakuten AI 7B」は、フランスのAIスタートアップであるMistral AIのオープンモデル「Mistral-7B-v0.1」をベースに、大規模なデータを学習させたもの。楽天が設計・内製したというマルチノードGPUクラスターで事前学習を行った。

　事前学習は、ネット上の日本語と英語のデータを活用。あらかじめ指定された条件でデータの選別・抽出をする楽天製のフィルタリング機能、関連情報をメタデータとして加えるアノテーション作業で品質の向上がはかられた。

　日本語を適切な単位で細分化して解析する楽天独自の形態素解析器も利用されており、一般的な形態素解析器と比べ、文章を分割する単位（トークン）あたりの文字数が多く、より多くの情報をひとつのトークンに含めた。これにより、事前学習や推論をより効率的に実行できたという。

　言語モデルを評価するツール「LM Evaluation Harness」では、7項目での日本語の評価で「Rakuten AI 7B」は平均69.8ポイント、「Rakuten AI 7B Instruct」は平均77.3ポイントを獲得。これは、先ごろKDDIが子会社化したAIスタートアップのELYZA（エライザ）の7Bモデルと比べても約10ポイント上回るものとなっている。

　楽天では、今回、オープンモデルとして公開することで「オープンソースコミュニティへ貢献し、国内外でのさらなるAIの発展を後押しする」としている。