MAP-Neo: Serie de Modelos de Lenguaje Grande Bilingües Altamente Capaces y Transparentes

MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series

May 29, 2024

Autores: Ge Zhang, Scott Qu, Jiaheng Liu, Chenchen Zhang, Chenghua Lin, Chou Leuang Yu, Danny Pan, Esther Cheng, Jie Liu, Qunshu Lin, Raven Yuan, Tuney Zheng, Wei Pang, Xinrun Du, Yiming Liang, Yinghao Ma, Yizhi Li, Ziyang Ma, Bill Lin, Emmanouil Benetos, Huan Yang, Junting Zhou, Kaijing Ma, Minghao Liu, Morry Niu, Noah Wang, Quehry Que, Ruibo Liu, Sine Liu, Shawn Guo, Soren Gao, Wangchunshu Zhou, Xinyue Zhang, Yizhi Zhou, Yubo Wang, Yuelin Bai, Yuhan Zhang, Yuxiang Zhang, Zenith Wang, Zhenzhu Yang, Zijian Zhao, Jiajun Zhang, Wanli Ouyang, Wenhao Huang, Wenhu Chen

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han logrado avances significativos en los últimos años, alcanzando un rendimiento sin precedentes en diversas tareas. Sin embargo, debido a intereses comerciales, los modelos más competitivos, como GPT, Gemini y Claude, han sido restringidos detrás de interfaces propietarias sin revelar los detalles de su entrenamiento. Recientemente, muchas instituciones han liberado varios LLMs potentes, como LLaMA-3, comparables a los LLMs de código cerrado existentes. No obstante, solo se proporcionan los pesos del modelo, mientras que la mayoría de los detalles (por ejemplo, puntos de control intermedios, corpus de preentrenamiento y código de entrenamiento, etc.) permanecen sin divulgar. Para mejorar la transparencia de los LLMs, la comunidad de investigación se ha unido para liberar LLMs verdaderamente abiertos (por ejemplo, Pythia, Amber, OLMo), donde se están proporcionando más detalles (como el corpus de preentrenamiento y el código de entrenamiento). Estos modelos han avanzado enormemente el estudio científico de estos modelos de gran escala, incluyendo sus fortalezas, debilidades, sesgos y riesgos. Sin embargo, observamos que los LLMs verdaderamente abiertos existentes en tareas de razonamiento, conocimiento y codificación aún son inferiores a los LLMs de última generación con tamaños de modelo similares. Con este fin, liberamos MAP-Neo, un modelo de lenguaje bilingüe altamente capaz y transparente con 7B de parámetros, entrenado desde cero con 4.5T de tokens de alta calidad. Nuestro MAP-Neo es el primer LLM bilingüe completamente de código abierto con un rendimiento comparable al de los LLMs de última generación existentes. Además, liberamos todos los detalles para reproducir nuestro MAP-Neo, proporcionando el corpus de preentrenamiento limpio, la pipeline de limpieza de datos, los puntos de control y un marco de entrenamiento/evaluación bien optimizado. Finalmente, esperamos que nuestro MAP-Neo fortalezca y enriquezca la comunidad de investigación abierta e inspire más innovaciones y creatividades para facilitar mejoras adicionales en los LLMs.

English

Large Language Models (LLMs) have made great strides in recent years to achieve unprecedented performance across different tasks. However, due to commercial interest, the most competitive models like GPT, Gemini, and Claude have been gated behind proprietary interfaces without disclosing the training details. Recently, many institutions have open-sourced several strong LLMs like LLaMA-3, comparable to existing closed-source LLMs. However, only the model's weights are provided with most details (e.g., intermediate checkpoints, pre-training corpus, and training code, etc.) being undisclosed. To improve the transparency of LLMs, the research community has formed to open-source truly open LLMs (e.g., Pythia, Amber, OLMo), where more details (e.g., pre-training corpus and training code) are being provided. These models have greatly advanced the scientific study of these large models including their strengths, weaknesses, biases and risks. However, we observe that the existing truly open LLMs on reasoning, knowledge, and coding tasks are still inferior to existing state-of-the-art LLMs with similar model sizes. To this end, we open-source MAP-Neo, a highly capable and transparent bilingual language model with 7B parameters trained from scratch on 4.5T high-quality tokens. Our MAP-Neo is the first fully open-sourced bilingual LLM with comparable performance compared to existing state-of-the-art LLMs. Moreover, we open-source all details to reproduce our MAP-Neo, where the cleaned pre-training corpus, data cleaning pipeline, checkpoints, and well-optimized training/evaluation framework are provided. Finally, we hope our MAP-Neo will enhance and strengthen the open research community and inspire more innovations and creativities to facilitate the further improvements of LLMs.