OpenELM: Una Famiglia Efficiente di Modelli Linguistici con Framework Open-Source per Addestramento e Inferenza

Abstract

La riproducibilità e la trasparenza dei modelli linguistici di grandi dimensioni sono cruciali per avanzare la ricerca aperta, garantire l'affidabilità dei risultati e consentire indagini sui dati e sui bias del modello, nonché sui potenziali rischi. A tal fine, rilasciamo OpenELM, un modello linguistico open all'avanguardia. OpenELM utilizza una strategia di scalatura strato per strato per allocare in modo efficiente i parametri all'interno di ciascuno strato del modello transformer, portando a una maggiore accuratezza. Ad esempio, con un budget di parametri di circa un miliardo, OpenELM mostra un miglioramento del 2,36% nell'accuratezza rispetto a OLMo, richiedendo 2 volte meno token di pre-addestramento. Diversamente dalle pratiche precedenti che forniscono solo i pesi del modello e il codice di inferenza, e pre-addestrano su dataset privati, il nostro rilascio include il framework completo per l'addestramento e la valutazione del modello linguistico su dataset pubblicamente disponibili, inclusi log di addestramento, checkpoint multipli e configurazioni di pre-addestramento. Rilasciamo anche il codice per convertire i modelli nella libreria MLX per l'inferenza e il fine-tuning su dispositivi Apple. Questo rilascio completo mira a potenziare e rafforzare la comunità di ricerca aperta, aprendo la strada a future iniziative di ricerca aperta. Il nostro codice sorgente, insieme ai pesi del modello pre-addestrato e alle ricette di addestramento, è disponibile all'indirizzo https://github.com/apple/corenet. Inoltre, i modelli \model possono essere trovati su HuggingFace all'indirizzo: https://huggingface.co/apple/OpenELM.

English

The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2times fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet. Additionally, \model models can be found on HuggingFace at: https://huggingface.co/apple/OpenELM.

OpenELM: Una Famiglia Efficiente di Modelli Linguistici con Framework Open-Source per Addestramento e Inferenza

OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

Abstract

Support