Vollständiger Open-Source-Technischer Bericht des Moxin-7B

Fully Open Source Moxin-7B Technical Report

December 8, 2024

Autoren: Pu Zhao, Xuan Shen, Zhenglun Kong, Yixin Shen, Sung-En Chang, Timothy Rupprecht, Lei Lu, Enfu Nan, Changdi Yang, Yumei He, Xingchen Xu, Yu Huang, Wei Wang, Yue Chen, Yong He, Yanzhi Wang

cs.AI

Zusammenfassung

In letzter Zeit haben Large Language Models (LLMs) eine signifikante Transformation durchlaufen, die durch einen rapiden Anstieg sowohl ihrer Beliebtheit als auch ihrer Fähigkeiten gekennzeichnet ist. Diese Evolution wird von proprietären LLMs wie GPT-4 und GPT-o1 angeführt, die aufgrund ihrer bemerkenswerten Leistung und Vielseitigkeit weithin in der KI-Community Beachtung finden. Gleichzeitig haben Open-Source LLMs wie LLaMA und Mistral aufgrund der einfachen Anpassung und Bereitstellung der Modelle in verschiedenen Anwendungen erheblich zur stetig steigenden Beliebtheit von LLMs beigetragen. Obwohl Open-Source LLMs beispiellose Möglichkeiten für Innovation und Forschung bieten, haben die Kommerzialisierung von LLMs Bedenken hinsichtlich Transparenz, Reproduzierbarkeit und Sicherheit aufgeworfen. Viele Open-Source LLMs erfüllen grundlegende Transparenzanforderungen nicht, indem sie wesentliche Komponenten wie Trainingscode und Daten zurückhalten, und einige verwenden restriktive Lizenzen, während sie behaupten, "open-source" zu sein, was die weitere Innovation bei LLMs behindern kann. Um dieses Problem zu mildern, stellen wir Moxin 7B vor, ein vollständig Open-Source LLM, das gemäß dem Model Openness Framework (MOF) entwickelt wurde, einem gerankten Klassifizierungssystem, das KI-Modelle anhand von Modellvollständigkeit und Offenheit bewertet und sich an Prinzipien von Open Science, Open Source, Open Data und Open Access hält. Unser Modell erreicht das höchste MOF-Klassifikationsniveau "Open Science" durch die umfassende Veröffentlichung von Pre-Training-Code und Konfigurationen, Trainings- und Feinabstimmungsdatensätzen sowie Zwischen- und Endkontrollpunkten. Experimente zeigen, dass unser Modell eine überlegene Leistung bei der Zero-Shot-Evaluation im Vergleich zu beliebten 7B-Modellen erzielt und bei der Few-Shot-Evaluation wettbewerbsfähig abschneidet.

English

Recently, Large Language Models (LLMs) have undergone a significant transformation, marked by a rapid rise in both their popularity and capabilities. Leading this evolution are proprietary LLMs like GPT-4 and GPT-o1, which have captured widespread attention in the AI community due to their remarkable performance and versatility. Simultaneously, open-source LLMs, such as LLaMA and Mistral, have made great contributions to the ever-increasing popularity of LLMs due to the ease to customize and deploy the models across diverse applications. Although open-source LLMs present unprecedented opportunities for innovation and research, the commercialization of LLMs has raised concerns about transparency, reproducibility, and safety. Many open-source LLMs fail to meet fundamental transparency requirements by withholding essential components like training code and data, and some use restrictive licenses whilst claiming to be "open-source," which may hinder further innovations on LLMs. To mitigate this issue, we introduce Moxin 7B, a fully open-source LLM developed in accordance with the Model Openness Framework (MOF), a ranked classification system that evaluates AI models based on model completeness and openness, adhering to principles of open science, open source, open data, and open access. Our model achieves the highest MOF classification level of "open science" through the comprehensive release of pre-training code and configurations, training and fine-tuning datasets, and intermediate and final checkpoints. Experiments show that our model achieves superior performance in zero-shot evaluation compared with popular 7B models and performs competitively in few-shot evaluation.