YAYI 2 : Modèles de langage multilingues open source à grande échelle

YAYI 2: Multilingual Open-Source Large Language Models

December 22, 2023

Auteurs: Yin Luo, Qingchao Kong, Nan Xu, Jia Cao, Bao Hao, Baoyu Qu, Bo Chen, Chao Zhu, Chenyang Zhao, Donglei Zhang, Fan Feng, Feifei Zhao, Hailong Sun, Hanxuan Yang, Haojun Pan, Hongyu Liu, Jianbin Guo, Jiangtao Du, Jingyi Wang, Junfeng Li, Lei Sun, Liduo Liu, Lifeng Dong, Lili Liu, Lin Wang, Liwen Zhang, Minzheng Wang, Pin Wang, Ping Yu, Qingxiao Li, Rui Yan, Rui Zou, Ruiqun Li, Taiwen Huang, Xiaodong Wang, Xiaofei Wu, Xin Peng, Xina Zhang, Xing Fang, Xinglin Xiao, Yanni Hao, Yao Dong, Yigang Wang, Ying Liu, Yongyu Jiang, Yungan Wang, Yuqi Wang, Zhangsheng Wang, Zhaoxin Yu, Zhen Luo, Wenji Mao, Lei Wang, Dajun Zeng

cs.AI

Résumé

En tant qu'avancées les plus récentes en traitement du langage naturel, les grands modèles de langage (LLMs) ont atteint des capacités de compréhension et de génération du langage comparables à celles des humains dans de nombreuses tâches du monde réel, et sont même considérés comme une voie potentielle vers l'intelligence artificielle générale. Pour mieux faciliter la recherche sur les LLMs, de nombreux modèles open-source, tels que Llama 2 et Falcon, ont récemment été proposés et ont obtenu des performances comparables à celles des modèles propriétaires. Cependant, ces modèles sont principalement conçus pour des scénarios en anglais et présentent de faibles performances dans des contextes chinois. Dans ce rapport technique, nous proposons YAYI 2, incluant à la fois des modèles de base et des modèles de conversation, avec 30 milliards de paramètres. YAYI 2 est pré-entraîné à partir de zéro sur un corpus multilingue contenant 2,65 trillions de tokens filtrés par notre pipeline de traitement des données de pré-entraînement. Le modèle de base est aligné avec les valeurs humaines grâce à un ajustement fin supervisé avec des millions d'instructions et un apprentissage par renforcement à partir de retours humains. Des expériences approfondies sur plusieurs benchmarks, tels que MMLU et CMMLU, démontrent systématiquement que le modèle YAYI 2 proposé surpasse les autres modèles open-source de taille similaire.

English

As the latest advancements in natural language processing, large language models (LLMs) have achieved human-level language understanding and generation abilities in many real-world tasks, and even have been regarded as a potential path to the artificial general intelligence. To better facilitate research on LLMs, many open-source LLMs, such as Llama 2 and Falcon, have recently been proposed and gained comparable performances to proprietary models. However, these models are primarily designed for English scenarios and exhibit poor performances in Chinese contexts. In this technical report, we propose YAYI 2, including both base and chat models, with 30 billion parameters. YAYI 2 is pre-trained from scratch on a multilingual corpus which contains 2.65 trillion tokens filtered by our pre-training data processing pipeline. The base model is aligned with human values through supervised fine-tuning with millions of instructions and reinforcement learning from human feedback. Extensive experiments on multiple benchmarks, such as MMLU and CMMLU, consistently demonstrate that the proposed YAYI 2 outperforms other similar sized open-source models.