MAP-Neo: Hochleistungsfähiges und transparentes zweisprachiges großes Sprachmodell-Serien

MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series

May 29, 2024

Autoren: Ge Zhang, Scott Qu, Jiaheng Liu, Chenchen Zhang, Chenghua Lin, Chou Leuang Yu, Danny Pan, Esther Cheng, Jie Liu, Qunshu Lin, Raven Yuan, Tuney Zheng, Wei Pang, Xinrun Du, Yiming Liang, Yinghao Ma, Yizhi Li, Ziyang Ma, Bill Lin, Emmanouil Benetos, Huan Yang, Junting Zhou, Kaijing Ma, Minghao Liu, Morry Niu, Noah Wang, Quehry Que, Ruibo Liu, Sine Liu, Shawn Guo, Soren Gao, Wangchunshu Zhou, Xinyue Zhang, Yizhi Zhou, Yubo Wang, Yuelin Bai, Yuhan Zhang, Yuxiang Zhang, Zenith Wang, Zhenzhu Yang, Zijian Zhao, Jiajun Zhang, Wanli Ouyang, Wenhao Huang, Wenhu Chen

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben in den letzten Jahren große Fortschritte gemacht, um beispiellose Leistungen in verschiedenen Aufgaben zu erzielen. Aufgrund des kommerziellen Interesses wurden jedoch die wettbewerbsfähigsten Modelle wie GPT, Gemini und Claude hinter proprietären Schnittstellen versteckt, ohne die Schulungsdetails offenzulegen. In letzter Zeit haben viele Institutionen mehrere starke LLMs wie LLaMA-3 quelloffen gemacht, die mit bestehenden geschlossenen LLMs vergleichbar sind. Allerdings werden nur die Gewichte des Modells bereitgestellt, während die meisten Details (z. B. Zwischenprüfpunkte, Vorkorpus und Schulungscode usw.) nicht offengelegt werden. Um die Transparenz von LLMs zu verbessern, hat sich die Forschungsgemeinschaft dazu entschlossen, wirklich offene LLMs (z. B. Pythia, Amber, OLMo) quelloffen zu machen, bei denen mehr Details (z. B. Vorkorpus und Schulungscode) bereitgestellt werden. Diese Modelle haben das wissenschaftliche Studium dieser großen Modelle erheblich vorangetrieben, einschließlich ihrer Stärken, Schwächen, Vorurteile und Risiken. Es fällt jedoch auf, dass die vorhandenen wirklich offenen LLMs für Aufgaben im Bereich des Denkens, des Wissens und des Codierens immer noch unterlegen sind gegenüber bestehenden LLMs auf dem neuesten Stand der Technik mit ähnlichen Modellgrößen. Zu diesem Zweck stellen wir MAP-Neo quelloffen vor, ein hochleistungsfähiges und transparentes zweisprachiges Sprachmodell mit 7 Milliarden Parametern, das von Grund auf auf 4,5 Billionen hochwertigen Tokens trainiert wurde. Unser MAP-Neo ist das erste vollständig quelloffene zweisprachige LLM mit vergleichbarer Leistung im Vergleich zu bestehenden LLMs auf dem neuesten Stand der Technik. Darüber hinaus stellen wir alle Details zur Reproduktion unseres MAP-Neo quelloffen zur Verfügung, wobei der bereinigte Vorkorpus, die Datenbereinigungspipeline, Zwischenprüfpunkte und ein gut optimiertes Schulungs-/Auswertungsframework bereitgestellt werden. Abschließend hoffen wir, dass unser MAP-Neo die offene Forschungsgemeinschaft stärken und stärken wird und mehr Innovationen und Kreativität inspirieren wird, um die weiteren Verbesserungen von LLMs zu erleichtern.

English

Large Language Models (LLMs) have made great strides in recent years to achieve unprecedented performance across different tasks. However, due to commercial interest, the most competitive models like GPT, Gemini, and Claude have been gated behind proprietary interfaces without disclosing the training details. Recently, many institutions have open-sourced several strong LLMs like LLaMA-3, comparable to existing closed-source LLMs. However, only the model's weights are provided with most details (e.g., intermediate checkpoints, pre-training corpus, and training code, etc.) being undisclosed. To improve the transparency of LLMs, the research community has formed to open-source truly open LLMs (e.g., Pythia, Amber, OLMo), where more details (e.g., pre-training corpus and training code) are being provided. These models have greatly advanced the scientific study of these large models including their strengths, weaknesses, biases and risks. However, we observe that the existing truly open LLMs on reasoning, knowledge, and coding tasks are still inferior to existing state-of-the-art LLMs with similar model sizes. To this end, we open-source MAP-Neo, a highly capable and transparent bilingual language model with 7B parameters trained from scratch on 4.5T high-quality tokens. Our MAP-Neo is the first fully open-sourced bilingual LLM with comparable performance compared to existing state-of-the-art LLMs. Moreover, we open-source all details to reproduce our MAP-Neo, where the cleaned pre-training corpus, data cleaning pipeline, checkpoints, and well-optimized training/evaluation framework are provided. Finally, we hope our MAP-Neo will enhance and strengthen the open research community and inspire more innovations and creativities to facilitate the further improvements of LLMs.