OpenELM: Una Familia Eficiente de Modelos de Lenguaje con Marco de Entrenamiento e Inferencia de Código Abierto

OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

April 22, 2024

Autores: Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

cs.AI

Resumen

La reproducibilidad y transparencia de los modelos de lenguaje grandes son cruciales para avanzar en la investigación abierta, garantizar la confiabilidad de los resultados y permitir investigaciones sobre sesgos en los datos y modelos, así como riesgos potenciales. Con este fin, presentamos OpenELM, un modelo de lenguaje abierto de última generación. OpenELM utiliza una estrategia de escalado por capas para asignar eficientemente los parámetros dentro de cada capa del modelo transformador, lo que resulta en una mayor precisión. Por ejemplo, con un presupuesto de aproximadamente mil millones de parámetros, OpenELM muestra una mejora del 2.36% en precisión en comparación con OLMo, mientras requiere 2 veces menos tokens de preentrenamiento. A diferencia de prácticas anteriores que solo proporcionan pesos del modelo y código de inferencia, y preentrenan en conjuntos de datos privados, nuestra publicación incluye el marco completo para el entrenamiento y evaluación del modelo de lenguaje en conjuntos de datos públicamente disponibles, incluyendo registros de entrenamiento, múltiples puntos de control y configuraciones de preentrenamiento. También publicamos código para convertir modelos a la biblioteca MLX para inferencia y ajuste fino en dispositivos Apple. Esta publicación integral tiene como objetivo empoderar y fortalecer a la comunidad de investigación abierta, allanando el camino para futuros esfuerzos de investigación abierta. Nuestro código fuente, junto con los pesos del modelo preentrenado y las recetas de entrenamiento, está disponible en https://github.com/apple/corenet. Además, los modelos \model se pueden encontrar en HuggingFace en: https://huggingface.co/apple/OpenELM.

English

The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2times fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet. Additionally, \model models can be found on HuggingFace at: https://huggingface.co/apple/OpenELM.