rinna、Llama 3に日本語継続事前学習を行った「Llama 3 Youko 8B」公開

rinnaは5月7日、80憶パラメータを持つ「Llama 3 8B」に対して日本語データで継続事前学習を行った「Llama 3 Youko 8B」を開発し、Meta Llama 3 Community Licenseで公開したことを発表した。ちなみに、モデル名の由来は妖怪の「妖狐（ようこ）」とのことだ。
○Llama 3 Youko 8Bの特徴

Llama 3 Youko 8Bは80億パラメータのLlama 3 8Bに対して、日本語と英語の学習データ220億トークンを用いて継続事前学習したモデル（Built with Meta Llama 3）。Meta Llama 3 Community Licenseを継承してモデルを公開しているため、ライセンスに従い利用可能。

同モデルは日本語言語モデルの性能を評価するためのベンチマークの一つである「Stability-AI/lm-evaluation-harness」の9タスクにおいて、平均スコアが66.15だったという。一方Llama 3は59.82だった。

○利用時にはファインチューニングやモデルマージなどを

今回公開したLlama 3 Youko 8Bは汎用的なベースモデルであることから、同社は目的とするタスクで利用する場合にはファインチューニングやモデルマージを行い利用することを勧めている。