Sailor2: Segeln in Südostasien mit inklusiven mehrsprachigen LLMs

Sailor2: Sailing in South-East Asia with Inclusive Multilingual LLMs

February 18, 2025

Autoren: Longxu Dou, Qian Liu, Fan Zhou, Changyu Chen, Zili Wang, Ziqi Jin, Zichen Liu, Tongyao Zhu, Cunxiao Du, Penghui Yang, Haonan Wang, Jiaheng Liu, Yongchi Zhao, Xiachong Feng, Xin Mao, Man Tsung Yeung, Kunat Pipatanakul, Fajri Koto, Min Si Thu, Hynek Kydlíček, Zeyi Liu, Qunshu Lin, Sittipong Sripaisarnmongkol, Kridtaphad Sae-Khow, Nirattisai Thongchim, Taechawat Konkaew, Narong Borijindargoon, Anh Dao, Matichon Maneegard, Phakphum Artkaew, Zheng-Xin Yong, Quan Nguyen, Wannaphong Phatthiyaphaibun, Hoang H. Tran, Mike Zhang, Shiqi Chen, Tianyu Pang, Chao Du, Xinyi Wan, Wei Lu, Min Lin

cs.AI

Zusammenfassung

Sailor2 ist eine Familie von hochmodernen mehrsprachigen Sprachmodellen für südostasiatische (SEA) Sprachen, die in den Größen 1B, 8B und 20B verfügbar sind, um unterschiedliche Anwendungsfälle abzudecken. Basierend auf Qwen2.5 durchläuft Sailor2 ein kontinuierliches Pre-Training mit 500B Tokens (400B SEA-spezifische und 100B Replay-Tokens), um 13 SEA-Sprachen zu unterstützen, während die Kompetenz in Chinesisch und Englisch erhalten bleibt. Das Sailor2-20B-Modell erreicht eine 50-50-Gewinnrate gegen GPT-4o über alle SEA-Sprachen hinweg. Wir stellen außerdem ein umfassendes Handbuch zur Verfügung, das zeigt, wie man das mehrsprachige Modell effizient entwickeln kann, einschließlich fünf zentraler Aspekte: Datenkuratierung, Pre-Training, Post-Training, Modellanpassung und Evaluation. Wir hoffen, dass das Sailor2-Modell (Apache 2.0-Lizenz) die Sprachentwicklung in der SEA-Region vorantreiben wird und dass das Sailor2-Handbuch Forscher dazu inspirieren wird, inklusivere LLMs für andere unterversorgte Sprachen zu entwickeln.

English

Sailor2 is a family of cutting-edge multilingual language models for South-East Asian (SEA) languages, available in 1B, 8B, and 20B sizes to suit diverse applications. Building on Qwen2.5, Sailor2 undergoes continuous pre-training on 500B tokens (400B SEA-specific and 100B replay tokens) to support 13 SEA languages while retaining proficiency in Chinese and English. Sailor2-20B model achieves a 50-50 win rate against GPT-4o across SEA languages. We also deliver a comprehensive cookbook on how to develop the multilingual model in an efficient manner, including five key aspects: data curation, pre-training, post-training, model customization and evaluation. We hope that Sailor2 model (Apache 2.0 license) will drive language development in the SEA region, and Sailor2 cookbook will inspire researchers to build more inclusive LLMs for other under-served languages.