RakutenAI-7B: Estensione dei Modelli Linguistici di Grande Scala per il Giapponese
RakutenAI-7B: Extending Large Language Models for Japanese
March 21, 2024
Autori: Rakuten Group, Aaron Levine, Connie Huang, Chenguang Wang, Eduardo Batista, Ewa Szymanska, Hongyi Ding, Hou Wei Chou, Jean-François Pessiot, Johanes Effendi, Justin Chiu, Kai Torben Ohlhus, Karan Chopra, Keiji Shinzato, Koji Murakami, Lee Xiong, Lei Chen, Maki Kubota, Maksim Tkachenko, Miroku Lee, Naoki Takahashi, Prathyusha Jwalapuram, Ryutaro Tatsushima, Saurabh Jain, Sunil Kumar Yadav, Ting Cai, Wei-Te Chen, Yandi Xia, Yuki Nakayama, Yutaka Higashiyama
cs.AI
Abstract
Presentiamo RakutenAI-7B, una suite di modelli linguistici di grandi dimensioni orientati al giapponese che raggiungono le migliori prestazioni sui benchmark Japanese LM Harness tra i modelli aperti da 7B. Insieme al modello di base, rilasciamo i modelli ottimizzati per istruzioni e chat, rispettivamente RakutenAI-7B-instruct e RakutenAI-7B-chat, sotto la licenza Apache 2.0.
English
We introduce RakutenAI-7B, a suite of Japanese-oriented large language models
that achieve the best performance on the Japanese LM Harness benchmarks among
the open 7B models. Along with the foundation model, we release instruction-
and chat-tuned models, RakutenAI-7B-instruct and RakutenAI-7B-chat
respectively, under the Apache 2.0 license.