OpenELM: Een Efficiënte Taalmodellenfamilie met Open-source Trainings- en Inferentiekader

OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

April 22, 2024

Auteurs: Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

cs.AI

Samenvatting

De reproduceerbaarheid en transparantie van grote taalmodellen zijn cruciaal voor het bevorderen van open onderzoek, het waarborgen van de betrouwbaarheid van resultaten, en het mogelijk maken van onderzoek naar gegevens- en modelvooroordelen, evenals potentiële risico's. Daarom brengen we OpenELM uit, een state-of-the-art open taalmodel. OpenELM gebruikt een laaggewijze schaalstrategie om parameters efficiënt toe te wijzen binnen elke laag van het transformermodel, wat leidt tot verbeterde nauwkeurigheid. Bijvoorbeeld, met een parameterbudget van ongeveer één miljard parameters, vertoont OpenELM een verbetering van 2,36% in nauwkeurigheid vergeleken met OLMo, terwijl het 2 keer minder vooraf getrainde tokens vereist. Afwijkend van eerdere praktijken die alleen modelgewichten en inferentiecode verstrekken, en vooraf trainen op privé datasets, omvat onze release het complete raamwerk voor training en evaluatie van het taalmodel op publiek beschikbare datasets, inclusief trainingslogboeken, meerdere checkpoints, en vooraf trainingsconfiguraties. We brengen ook code uit om modellen om te zetten naar de MLX-bibliotheek voor inferentie en fine-tuning op Apple-apparaten. Deze uitgebreide release heeft als doel de open onderzoeksgemeenschap te versterken en te empoweren, en de weg te effenen voor toekomstige open onderzoeksinspanningen. Onze broncode, samen met vooraf getrainde modelgewichten en trainingsrecepten, is beschikbaar op https://github.com/apple/corenet. Daarnaast kunnen \model modellen worden gevonden op HuggingFace op: https://huggingface.co/apple/OpenELM.

English

The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2times fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet. Additionally, \model models can be found on HuggingFace at: https://huggingface.co/apple/OpenELM.