RakutenAI-7B: 일본어를 위한 대규모 언어 모델 확장

RakutenAI-7B: Extending Large Language Models for Japanese

March 21, 2024

저자: Rakuten Group, Aaron Levine, Connie Huang, Chenguang Wang, Eduardo Batista, Ewa Szymanska, Hongyi Ding, Hou Wei Chou, Jean-François Pessiot, Johanes Effendi, Justin Chiu, Kai Torben Ohlhus, Karan Chopra, Keiji Shinzato, Koji Murakami, Lee Xiong, Lei Chen, Maki Kubota, Maksim Tkachenko, Miroku Lee, Naoki Takahashi, Prathyusha Jwalapuram, Ryutaro Tatsushima, Saurabh Jain, Sunil Kumar Yadav, Ting Cai, Wei-Te Chen, Yandi Xia, Yuki Nakayama, Yutaka Higashiyama

cs.AI

초록

우리는 일본어 중심 대규모 언어 모델 제품군인 RakutenAI-7B를 소개합니다. 이 모델은 오픈 소스 7B 모델 중 일본어 LM Harness 벤치마크에서 최고의 성능을 달성했습니다. 기반 모델과 함께, Apache 2.0 라이선스 하에 지침 튜닝 모델인 RakutenAI-7B-instruct와 채팅 튜닝 모델인 RakutenAI-7B-chat을 공개합니다.

English

We introduce RakutenAI-7B, a suite of Japanese-oriented large language models that achieve the best performance on the Japanese LM Harness benchmarks among the open 7B models. Along with the foundation model, we release instruction- and chat-tuned models, RakutenAI-7B-instruct and RakutenAI-7B-chat respectively, under the Apache 2.0 license.