楽天、日本語に最適化したLLM「Rakuten AI 2.0」発表--25年春に公開

楽天、日本語に最適化したLLM「Rakuten AI 2.0」発表--25年春に公開

楽天グループは12月18日、日本語に最適化した大規模言語モデル（LLM）「Rakuten AI 2.0」、および小規模...概要を表示 楽天グループは12月18日、日本語に最適化した大規模言語モデル（LLM）「Rakuten AI 2.0」、および小規模言語モデル（SLM）「Rakuten AI 2.0 mini」を発表した。来春を目途にオープンソースとして公開するという。 「Rakuten AI 2.0」は、Mixture of Experts（MoE）アーキテクチャを採用した8x7B（8つの70億パラメータモデル）構成のモデルだ。入力トークンは最適な2つの「エキスパート」（サブモデル）へと振り分けられ、効率的な動作を実現する。楽天によれば、この設計により8倍規模の高密度モデルに匹敵する性能を示しながら、計算資源の使用を約4分の1に抑えられるという。 また、日本語性能はRakuten AI 7Bと比較して、8つのタスクで62.93から72.29へと約15%向上し、自然言語処理タスクにおいて高い精度を実現したとしている。

• 人工知能
• techfeed