MAP-Neo: Serie di Modelli Linguistici di Grande Capacità e Trasparenza Bilingue

MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series

May 29, 2024

Autori: Ge Zhang, Scott Qu, Jiaheng Liu, Chenchen Zhang, Chenghua Lin, Chou Leuang Yu, Danny Pan, Esther Cheng, Jie Liu, Qunshu Lin, Raven Yuan, Tuney Zheng, Wei Pang, Xinrun Du, Yiming Liang, Yinghao Ma, Yizhi Li, Ziyang Ma, Bill Lin, Emmanouil Benetos, Huan Yang, Junting Zhou, Kaijing Ma, Minghao Liu, Morry Niu, Noah Wang, Quehry Que, Ruibo Liu, Sine Liu, Shawn Guo, Soren Gao, Wangchunshu Zhou, Xinyue Zhang, Yizhi Zhou, Yubo Wang, Yuelin Bai, Yuhan Zhang, Yuxiang Zhang, Zenith Wang, Zhenzhu Yang, Zijian Zhao, Jiajun Zhang, Wanli Ouyang, Wenhao Huang, Wenhu Chen

cs.AI

Abstract

I Large Language Model (LLM) hanno compiuto grandi progressi negli ultimi anni, raggiungendo prestazioni senza precedenti in diversi compiti. Tuttavia, a causa di interessi commerciali, i modelli più competitivi come GPT, Gemini e Claude sono stati resi accessibili solo attraverso interfacce proprietarie, senza divulgare i dettagli del training. Recentemente, molte istituzioni hanno reso open-source diversi LLM potenti, come LLaMA-3, comparabili ai modelli closed-source esistenti. Tuttavia, vengono forniti solo i pesi del modello, mentre la maggior parte dei dettagli (ad esempio, checkpoint intermedi, corpus di pre-training e codice di training) rimane non divulgata. Per migliorare la trasparenza degli LLM, la comunità di ricerca si è unita per rendere open-source veri LLM aperti (ad esempio, Pythia, Amber, OLMo), fornendo maggiori dettagli (ad esempio, corpus di pre-training e codice di training). Questi modelli hanno notevolmente avanzato lo studio scientifico di questi grandi modelli, inclusi i loro punti di forza, debolezze, bias e rischi. Tuttavia, osserviamo che gli attuali LLM veramente aperti nelle attività di ragionamento, conoscenza e codifica sono ancora inferiori rispetto agli LLM state-of-the-art esistenti con dimensioni simili del modello. A tal fine, rendiamo open-source MAP-Neo, un modello linguistico bilingue altamente capace e trasparente con 7 miliardi di parametri, addestrato da zero su 4,5 trilioni di token di alta qualità. Il nostro MAP-Neo è il primo LLM bilingue completamente open-source con prestazioni comparabili agli LLM state-of-the-art esistenti. Inoltre, rendiamo open-source tutti i dettagli per riprodurre il nostro MAP-Neo, fornendo il corpus di pre-training pulito, la pipeline di pulizia dei dati, i checkpoint e un framework di training/valutazione ben ottimizzato. Infine, speriamo che il nostro MAP-Neo possa potenziare e rafforzare la comunità di ricerca aperta e ispirare ulteriori innovazioni e creatività per facilitare ulteriori miglioramenti degli LLM.

English

Large Language Models (LLMs) have made great strides in recent years to achieve unprecedented performance across different tasks. However, due to commercial interest, the most competitive models like GPT, Gemini, and Claude have been gated behind proprietary interfaces without disclosing the training details. Recently, many institutions have open-sourced several strong LLMs like LLaMA-3, comparable to existing closed-source LLMs. However, only the model's weights are provided with most details (e.g., intermediate checkpoints, pre-training corpus, and training code, etc.) being undisclosed. To improve the transparency of LLMs, the research community has formed to open-source truly open LLMs (e.g., Pythia, Amber, OLMo), where more details (e.g., pre-training corpus and training code) are being provided. These models have greatly advanced the scientific study of these large models including their strengths, weaknesses, biases and risks. However, we observe that the existing truly open LLMs on reasoning, knowledge, and coding tasks are still inferior to existing state-of-the-art LLMs with similar model sizes. To this end, we open-source MAP-Neo, a highly capable and transparent bilingual language model with 7B parameters trained from scratch on 4.5T high-quality tokens. Our MAP-Neo is the first fully open-sourced bilingual LLM with comparable performance compared to existing state-of-the-art LLMs. Moreover, we open-source all details to reproduce our MAP-Neo, where the cleaned pre-training corpus, data cleaning pipeline, checkpoints, and well-optimized training/evaluation framework are provided. Finally, we hope our MAP-Neo will enhance and strengthen the open research community and inspire more innovations and creativities to facilitate the further improvements of LLMs.