MAP-Neo: Zeer Capabel en Transparant Tweetalig Taalmodel op Grote Schaal Serie

MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series

May 29, 2024

Auteurs: Ge Zhang, Scott Qu, Jiaheng Liu, Chenchen Zhang, Chenghua Lin, Chou Leuang Yu, Danny Pan, Esther Cheng, Jie Liu, Qunshu Lin, Raven Yuan, Tuney Zheng, Wei Pang, Xinrun Du, Yiming Liang, Yinghao Ma, Yizhi Li, Ziyang Ma, Bill Lin, Emmanouil Benetos, Huan Yang, Junting Zhou, Kaijing Ma, Minghao Liu, Morry Niu, Noah Wang, Quehry Que, Ruibo Liu, Sine Liu, Shawn Guo, Soren Gao, Wangchunshu Zhou, Xinyue Zhang, Yizhi Zhou, Yubo Wang, Yuelin Bai, Yuhan Zhang, Yuxiang Zhang, Zenith Wang, Zhenzhu Yang, Zijian Zhao, Jiajun Zhang, Wanli Ouyang, Wenhao Huang, Wenhu Chen

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) hebben de afgelopen jaren grote vooruitgang geboekt en ongekende prestaties behaald op verschillende taken. Vanwege commerciële belangen zijn de meest competitieve modellen zoals GPT, Gemini en Claude echter achter propriëtaire interfaces geplaatst zonder dat de trainingsdetails worden vrijgegeven. Recentelijk hebben veel instellingen verschillende sterke LLMs open-source gemaakt, zoals LLaMA-3, die vergelijkbaar zijn met bestaande closed-source LLMs. Echter, worden alleen de gewichten van het model geleverd, terwijl de meeste details (bijvoorbeeld tussenliggende checkpoints, het pre-trainingscorpus en de trainingscode, enz.) niet worden vrijgegeven. Om de transparantie van LLMs te verbeteren, heeft de onderzoeksgemeenschap zich gevormd om echt open LLMs (bijvoorbeeld Pythia, Amber, OLMo) open-source te maken, waarbij meer details (zoals het pre-trainingscorpus en de trainingscode) worden verstrekt. Deze modellen hebben de wetenschappelijke studie van deze grote modellen, inclusief hun sterke punten, zwaktes, vooroordelen en risico's, sterk bevorderd. We merken echter op dat de bestaande echt open LLMs op het gebied van redeneren, kennis en coderingstaken nog steeds inferieur zijn aan de bestaande state-of-the-art LLMs met vergelijkbare modelgroottes. Daarom maken we MAP-Neo open-source, een zeer capabel en transparant tweetalig taalmodel met 7B parameters, van scratch getraind op 4,5T hoogwaardige tokens. Onze MAP-Neo is het eerste volledig open-source tweetalige LLM met een vergelijkbare prestaties ten opzichte van bestaande state-of-the-art LLMs. Bovendien maken we alle details open-source om onze MAP-Neo te reproduceren, waarbij het schoongemaakte pre-trainingscorpus, de datacleaningpipeline, checkpoints en een goed geoptimaliseerd trainings-/evaluatieframework worden verstrekt. Tot slot hopen we dat onze MAP-Neo de open onderzoeksgemeenschap zal versterken en meer innovaties en creativiteit zal inspireren om de verdere verbetering van LLMs te faciliteren.

English

Large Language Models (LLMs) have made great strides in recent years to achieve unprecedented performance across different tasks. However, due to commercial interest, the most competitive models like GPT, Gemini, and Claude have been gated behind proprietary interfaces without disclosing the training details. Recently, many institutions have open-sourced several strong LLMs like LLaMA-3, comparable to existing closed-source LLMs. However, only the model's weights are provided with most details (e.g., intermediate checkpoints, pre-training corpus, and training code, etc.) being undisclosed. To improve the transparency of LLMs, the research community has formed to open-source truly open LLMs (e.g., Pythia, Amber, OLMo), where more details (e.g., pre-training corpus and training code) are being provided. These models have greatly advanced the scientific study of these large models including their strengths, weaknesses, biases and risks. However, we observe that the existing truly open LLMs on reasoning, knowledge, and coding tasks are still inferior to existing state-of-the-art LLMs with similar model sizes. To this end, we open-source MAP-Neo, a highly capable and transparent bilingual language model with 7B parameters trained from scratch on 4.5T high-quality tokens. Our MAP-Neo is the first fully open-sourced bilingual LLM with comparable performance compared to existing state-of-the-art LLMs. Moreover, we open-source all details to reproduce our MAP-Neo, where the cleaned pre-training corpus, data cleaning pipeline, checkpoints, and well-optimized training/evaluation framework are provided. Finally, we hope our MAP-Neo will enhance and strengthen the open research community and inspire more innovations and creativities to facilitate the further improvements of LLMs.