Stability AIから、日本語向け生成AI「Japanese StableLM Alpha 7B」公開

　Stability AI Japanは、日本語向け汎用言語モデル「Japanese StableLM Base Alpha 7B」と指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」を一般公開した。

指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」

汎用言語モデル「Japanese StableLM Base Alpha 7B」

　汎用言語モデル「Japanese StableLM Base Alpha 7B」は、ウェブの大規模データを学習したテキスト生成モデル。学習データは、主に日本語と英語、ソースコードが約2%含まれている。学習はのべ7500億トークンで行われたとしている。

　学習には、EleutherAIの「GPT-NeoX」を発展させたソフトウェアを利用しているという。

指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」

　指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」は汎用言語モデルに対して追加学習を行い、ユーザーの指示に応答できるようになったモデル。

　追加学習には、Supervised Fine-tuning（SFT）を採用している。

　「Japanese StableLM Base Alpha 7B」は、商用利用可能なApache License 2.0での公開されている。「Japanese StableLM Instruct Alpha 7B」は研究目的で作成されたモデルであり、研究目的での利用に限定した公開となる。