Sailor2: 東南アジアを航海する包括的多言語LLM

Sailor2: Sailing in South-East Asia with Inclusive Multilingual LLMs

February 18, 2025

著者: Longxu Dou, Qian Liu, Fan Zhou, Changyu Chen, Zili Wang, Ziqi Jin, Zichen Liu, Tongyao Zhu, Cunxiao Du, Penghui Yang, Haonan Wang, Jiaheng Liu, Yongchi Zhao, Xiachong Feng, Xin Mao, Man Tsung Yeung, Kunat Pipatanakul, Fajri Koto, Min Si Thu, Hynek Kydlíček, Zeyi Liu, Qunshu Lin, Sittipong Sripaisarnmongkol, Kridtaphad Sae-Khow, Nirattisai Thongchim, Taechawat Konkaew, Narong Borijindargoon, Anh Dao, Matichon Maneegard, Phakphum Artkaew, Zheng-Xin Yong, Quan Nguyen, Wannaphong Phatthiyaphaibun, Hoang H. Tran, Mike Zhang, Shiqi Chen, Tianyu Pang, Chao Du, Xinyi Wan, Wei Lu, Min Lin

cs.AI

要旨

Sailor2は、東南アジア（SEA）言語向けの最先端多言語モデルファミリーで、1B、8B、20Bのサイズを提供し、多様なアプリケーションに対応しています。Qwen2.5を基盤として、Sailor2は500Bトークン（400BはSEA固有、100Bはリプレイトークン）の継続的な事前学習を行い、13のSEA言語をサポートしながら、中国語と英語の能力も維持しています。Sailor2-20Bモデルは、SEA言語においてGPT-4oに対して50-50の勝率を達成しています。また、多言語モデルを効率的に開発するための包括的なクックブックを提供し、データキュレーション、事前学習、事後学習、モデルカスタマイズ、評価の5つの主要な側面をカバーしています。Sailor2モデル（Apache 2.0ライセンス）がSEA地域の言語開発を推進し、Sailor2クックブックが研究者にインスピレーションを与え、他の十分にサポートされていない言語のためのより包括的なLLMを構築することを願っています。

English

Sailor2 is a family of cutting-edge multilingual language models for South-East Asian (SEA) languages, available in 1B, 8B, and 20B sizes to suit diverse applications. Building on Qwen2.5, Sailor2 undergoes continuous pre-training on 500B tokens (400B SEA-specific and 100B replay tokens) to support 13 SEA languages while retaining proficiency in Chinese and English. Sailor2-20B model achieves a 50-50 win rate against GPT-4o across SEA languages. We also deliver a comprehensive cookbook on how to develop the multilingual model in an efficient manner, including five key aspects: data curation, pre-training, post-training, model customization and evaluation. We hope that Sailor2 model (Apache 2.0 license) will drive language development in the SEA region, and Sailor2 cookbook will inspire researchers to build more inclusive LLMs for other under-served languages.