Sailor2 : Naviguer en Asie du Sud-Est avec des modèles de langage multilingues inclusifs

Sailor2: Sailing in South-East Asia with Inclusive Multilingual LLMs

February 18, 2025

Auteurs: Longxu Dou, Qian Liu, Fan Zhou, Changyu Chen, Zili Wang, Ziqi Jin, Zichen Liu, Tongyao Zhu, Cunxiao Du, Penghui Yang, Haonan Wang, Jiaheng Liu, Yongchi Zhao, Xiachong Feng, Xin Mao, Man Tsung Yeung, Kunat Pipatanakul, Fajri Koto, Min Si Thu, Hynek Kydlíček, Zeyi Liu, Qunshu Lin, Sittipong Sripaisarnmongkol, Kridtaphad Sae-Khow, Nirattisai Thongchim, Taechawat Konkaew, Narong Borijindargoon, Anh Dao, Matichon Maneegard, Phakphum Artkaew, Zheng-Xin Yong, Quan Nguyen, Wannaphong Phatthiyaphaibun, Hoang H. Tran, Mike Zhang, Shiqi Chen, Tianyu Pang, Chao Du, Xinyi Wan, Wei Lu, Min Lin

cs.AI

Résumé

Sailor2 est une famille de modèles de langage multilingues de pointe pour les langues d'Asie du Sud-Est (ASE), disponibles en tailles de 1B, 8B et 20B pour s'adapter à diverses applications. Basé sur Qwen2.5, Sailor2 subit un pré-entraînement continu sur 500 milliards de tokens (400 milliards spécifiques à l'ASE et 100 milliards de tokens de relecture) pour prendre en charge 13 langues de l'ASE tout en conservant une maîtrise du chinois et de l'anglais. Le modèle Sailor2-20B atteint un taux de victoire de 50-50 contre GPT-4o pour les langues de l'ASE. Nous proposons également un guide complet sur la manière de développer un modèle multilingue de manière efficace, couvrant cinq aspects clés : la curation des données, le pré-entraînement, le post-entraînement, la personnalisation du modèle et l'évaluation. Nous espérons que le modèle Sailor2 (sous licence Apache 2.0) stimulera le développement linguistique dans la région de l'ASE, et que le guide Sailor2 inspirera les chercheurs à créer des modèles de langage plus inclusifs pour d'autres langues sous-représentées.

English

Sailor2 is a family of cutting-edge multilingual language models for South-East Asian (SEA) languages, available in 1B, 8B, and 20B sizes to suit diverse applications. Building on Qwen2.5, Sailor2 undergoes continuous pre-training on 500B tokens (400B SEA-specific and 100B replay tokens) to support 13 SEA languages while retaining proficiency in Chinese and English. Sailor2-20B model achieves a 50-50 win rate against GPT-4o across SEA languages. We also deliver a comprehensive cookbook on how to develop the multilingual model in an efficient manner, including five key aspects: data curation, pre-training, post-training, model customization and evaluation. We hope that Sailor2 model (Apache 2.0 license) will drive language development in the SEA region, and Sailor2 cookbook will inspire researchers to build more inclusive LLMs for other under-served languages.