YAYI 2: Modelos de Lenguaje Multilingües de Gran Escala de Código Abierto

YAYI 2: Multilingual Open-Source Large Language Models

December 22, 2023

Autores: Yin Luo, Qingchao Kong, Nan Xu, Jia Cao, Bao Hao, Baoyu Qu, Bo Chen, Chao Zhu, Chenyang Zhao, Donglei Zhang, Fan Feng, Feifei Zhao, Hailong Sun, Hanxuan Yang, Haojun Pan, Hongyu Liu, Jianbin Guo, Jiangtao Du, Jingyi Wang, Junfeng Li, Lei Sun, Liduo Liu, Lifeng Dong, Lili Liu, Lin Wang, Liwen Zhang, Minzheng Wang, Pin Wang, Ping Yu, Qingxiao Li, Rui Yan, Rui Zou, Ruiqun Li, Taiwen Huang, Xiaodong Wang, Xiaofei Wu, Xin Peng, Xina Zhang, Xing Fang, Xinglin Xiao, Yanni Hao, Yao Dong, Yigang Wang, Ying Liu, Yongyu Jiang, Yungan Wang, Yuqi Wang, Zhangsheng Wang, Zhaoxin Yu, Zhen Luo, Wenji Mao, Lei Wang, Dajun Zeng

cs.AI

Resumen

Como los avances más recientes en procesamiento del lenguaje natural, los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han alcanzado capacidades de comprensión y generación de lenguaje a nivel humano en muchas tareas del mundo real, e incluso han sido considerados como una ruta potencial hacia la inteligencia artificial general. Para facilitar mejor la investigación sobre LLMs, muchos modelos de código abierto, como Llama 2 y Falcon, han sido propuestos recientemente y han obtenido rendimientos comparables a los modelos propietarios. Sin embargo, estos modelos están principalmente diseñados para escenarios en inglés y muestran un rendimiento deficiente en contextos chinos. En este informe técnico, proponemos YAYI 2, que incluye tanto modelos base como de chat, con 30 mil millones de parámetros. YAYI 2 ha sido preentrenado desde cero en un corpus multilingüe que contiene 2.65 billones de tokens filtrados por nuestra pipeline de procesamiento de datos de preentrenamiento. El modelo base está alineado con valores humanos mediante ajuste fino supervisado con millones de instrucciones y aprendizaje por refuerzo a partir de retroalimentación humana. Experimentos extensos en múltiples benchmarks, como MMLU y CMMLU, demuestran consistentemente que el propuesto YAYI 2 supera a otros modelos de código abierto de tamaño similar.

English

As the latest advancements in natural language processing, large language models (LLMs) have achieved human-level language understanding and generation abilities in many real-world tasks, and even have been regarded as a potential path to the artificial general intelligence. To better facilitate research on LLMs, many open-source LLMs, such as Llama 2 and Falcon, have recently been proposed and gained comparable performances to proprietary models. However, these models are primarily designed for English scenarios and exhibit poor performances in Chinese contexts. In this technical report, we propose YAYI 2, including both base and chat models, with 30 billion parameters. YAYI 2 is pre-trained from scratch on a multilingual corpus which contains 2.65 trillion tokens filtered by our pre-training data processing pipeline. The base model is aligned with human values through supervised fine-tuning with millions of instructions and reinforcement learning from human feedback. Extensive experiments on multiple benchmarks, such as MMLU and CMMLU, consistently demonstrate that the proposed YAYI 2 outperforms other similar sized open-source models.