OpenELM: Eine effiziente Sprachmodellfamilie mit Open-Source-Trainings- und Inferenz-Framework

OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

April 22, 2024

Autoren: Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

cs.AI

Zusammenfassung

Die Reproduzierbarkeit und Transparenz großer Sprachmodelle sind entscheidend für die Förderung offener Forschung, die Gewährleistung der Vertrauenswürdigkeit von Ergebnissen und die Ermöglichung von Untersuchungen zu Daten- und Modellverzerrungen sowie potenziellen Risiken. Zu diesem Zweck veröffentlichen wir OpenELM, ein hochmodernes offenes Sprachmodell. OpenELM verwendet eine schichtweise Skalierungsstrategie, um Parameter effizient innerhalb jeder Schicht des Transformer-Modells zuzuweisen, was zu einer verbesserten Genauigkeit führt. Mit einem Parameterbudget von etwa einer Milliarde Parametern weist OpenELM beispielsweise eine Verbesserung der Genauigkeit um 2,36% im Vergleich zu OLMo auf und benötigt dabei die Hälfte der Vor-Trainings-Token. Im Gegensatz zu früheren Praktiken, die nur Modellgewichte und Inferenzcode bereitstellen und auf privaten Datensätzen vortrainieren, umfasst unsere Veröffentlichung das vollständige Framework für das Training und die Bewertung des Sprachmodells an öffentlich verfügbaren Datensätzen, einschließlich Trainingsprotokollen, mehrerer Kontrollpunkte und Vor-Trainingskonfigurationen. Wir veröffentlichen auch Code zur Konvertierung von Modellen in die MLX-Bibliothek für Inferenz und Feinabstimmung auf Apple-Geräten. Diese umfassende Veröffentlichung zielt darauf ab, die offene Forschungsgemeinschaft zu stärken und zu unterstützen und den Weg für zukünftige offene Forschungsvorhaben zu ebnen. Unser Quellcode zusammen mit vorab trainierten Modellgewichten und Trainingsrezepten ist unter https://github.com/apple/corenet verfügbar. Darüber hinaus können \model-Modelle auf HuggingFace unter https://huggingface.co/apple/OpenELM gefunden werden.

English

The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2times fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet. Additionally, \model models can be found on HuggingFace at: https://huggingface.co/apple/OpenELM.