MAP-Neo: Série de Modelos de Linguagem Grande Bilingues Altamente Capazes e Transparentes

MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series

May 29, 2024

Autores: Ge Zhang, Scott Qu, Jiaheng Liu, Chenchen Zhang, Chenghua Lin, Chou Leuang Yu, Danny Pan, Esther Cheng, Jie Liu, Qunshu Lin, Raven Yuan, Tuney Zheng, Wei Pang, Xinrun Du, Yiming Liang, Yinghao Ma, Yizhi Li, Ziyang Ma, Bill Lin, Emmanouil Benetos, Huan Yang, Junting Zhou, Kaijing Ma, Minghao Liu, Morry Niu, Noah Wang, Quehry Que, Ruibo Liu, Sine Liu, Shawn Guo, Soren Gao, Wangchunshu Zhou, Xinyue Zhang, Yizhi Zhou, Yubo Wang, Yuelin Bai, Yuhan Zhang, Yuxiang Zhang, Zenith Wang, Zhenzhu Yang, Zijian Zhao, Jiajun Zhang, Wanli Ouyang, Wenhao Huang, Wenhu Chen

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) têm feito grandes avanços nos últimos anos, alcançando desempenho sem precedentes em diversas tarefas. No entanto, devido a interesses comerciais, os modelos mais competitivos, como GPT, Gemini e Claude, têm sido restritos a interfaces proprietárias, sem a divulgação dos detalhes de treinamento. Recentemente, muitas instituições disponibilizaram em código aberto vários LLMs robustos, como o LLaMA-3, comparáveis aos LLMs de código fechado existentes. Contudo, apenas os pesos dos modelos são fornecidos, com a maioria dos detalhes (por exemplo, checkpoints intermediários, corpus de pré-treinamento e código de treinamento) não divulgados. Para melhorar a transparência dos LLMs, a comunidade de pesquisa tem se mobilizado para disponibilizar LLMs verdadeiramente abertos (por exemplo, Pythia, Amber, OLMo), nos quais mais detalhes (como o corpus de pré-treinamento e o código de treinamento) estão sendo fornecidos. Esses modelos têm avançado significativamente o estudo científico desses grandes modelos, incluindo seus pontos fortes, fraquezas, vieses e riscos. No entanto, observamos que os LLMs verdadeiramente abertos existentes ainda são inferiores aos LLMs de ponta atuais com tamanhos de modelo semelhantes em tarefas de raciocínio, conhecimento e codificação. Para isso, disponibilizamos o MAP-Neo, um modelo de linguagem bilíngue altamente capaz e transparente com 7 bilhões de parâmetros, treinado do zero com 4,5 trilhões de tokens de alta qualidade. Nosso MAP-Neo é o primeiro LLM bilíngue totalmente aberto com desempenho comparável aos LLMs de ponta existentes. Além disso, disponibilizamos todos os detalhes para reproduzir nosso MAP-Neo, incluindo o corpus de pré-treinamento limpo, o pipeline de limpeza de dados, os checkpoints e o framework de treinamento/avaliação bem otimizado. Por fim, esperamos que nosso MAP-Neo fortaleça e enriqueça a comunidade de pesquisa aberta, inspirando mais inovações e criatividades para facilitar melhorias futuras nos LLMs.

English

Large Language Models (LLMs) have made great strides in recent years to achieve unprecedented performance across different tasks. However, due to commercial interest, the most competitive models like GPT, Gemini, and Claude have been gated behind proprietary interfaces without disclosing the training details. Recently, many institutions have open-sourced several strong LLMs like LLaMA-3, comparable to existing closed-source LLMs. However, only the model's weights are provided with most details (e.g., intermediate checkpoints, pre-training corpus, and training code, etc.) being undisclosed. To improve the transparency of LLMs, the research community has formed to open-source truly open LLMs (e.g., Pythia, Amber, OLMo), where more details (e.g., pre-training corpus and training code) are being provided. These models have greatly advanced the scientific study of these large models including their strengths, weaknesses, biases and risks. However, we observe that the existing truly open LLMs on reasoning, knowledge, and coding tasks are still inferior to existing state-of-the-art LLMs with similar model sizes. To this end, we open-source MAP-Neo, a highly capable and transparent bilingual language model with 7B parameters trained from scratch on 4.5T high-quality tokens. Our MAP-Neo is the first fully open-sourced bilingual LLM with comparable performance compared to existing state-of-the-art LLMs. Moreover, we open-source all details to reproduce our MAP-Neo, where the cleaned pre-training corpus, data cleaning pipeline, checkpoints, and well-optimized training/evaluation framework are provided. Finally, we hope our MAP-Neo will enhance and strengthen the open research community and inspire more innovations and creativities to facilitate the further improvements of LLMs.