RakutenAI-7B : Extension des modèles de langage de grande taille pour le japonais

RakutenAI-7B: Extending Large Language Models for Japanese

March 21, 2024

Auteurs: Rakuten Group, Aaron Levine, Connie Huang, Chenguang Wang, Eduardo Batista, Ewa Szymanska, Hongyi Ding, Hou Wei Chou, Jean-François Pessiot, Johanes Effendi, Justin Chiu, Kai Torben Ohlhus, Karan Chopra, Keiji Shinzato, Koji Murakami, Lee Xiong, Lei Chen, Maki Kubota, Maksim Tkachenko, Miroku Lee, Naoki Takahashi, Prathyusha Jwalapuram, Ryutaro Tatsushima, Saurabh Jain, Sunil Kumar Yadav, Ting Cai, Wei-Te Chen, Yandi Xia, Yuki Nakayama, Yutaka Higashiyama

cs.AI

Résumé

Nous présentons RakutenAI-7B, une suite de modèles de langage de grande taille orientés vers le japonais, qui obtiennent les meilleures performances sur les benchmarks Japanese LM Harness parmi les modèles ouverts de 7 milliards de paramètres. En plus du modèle de base, nous publions des modèles ajustés pour les instructions et les conversations, respectivement RakutenAI-7B-instruct et RakutenAI-7B-chat, sous licence Apache 2.0.

English

We introduce RakutenAI-7B, a suite of Japanese-oriented large language models that achieve the best performance on the Japanese LM Harness benchmarks among the open 7B models. Along with the foundation model, we release instruction- and chat-tuned models, RakutenAI-7B-instruct and RakutenAI-7B-chat respectively, under the Apache 2.0 license.