OpenELM: Uma Família Eficiente de Modelos de Linguagem com Framework de Treinamento e Inferência de Código Aberto

OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

April 22, 2024

Autores: Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

cs.AI

Resumo

A reprodutibilidade e transparência dos grandes modelos de linguagem são cruciais para o avanço da pesquisa aberta, garantindo a confiabilidade dos resultados e permitindo investigações sobre vieses nos dados e modelos, bem como potenciais riscos. Para isso, lançamos o OpenELM, um modelo de linguagem aberto de última geração. O OpenELM utiliza uma estratégia de dimensionamento por camadas para alocar parâmetros de forma eficiente em cada camada do modelo transformer, resultando em maior precisão. Por exemplo, com um orçamento de aproximadamente um bilhão de parâmetros, o OpenELM exibe uma melhoria de 2,36% na precisão em comparação com o OLMo, enquanto requer 2 vezes menos tokens de pré-treinamento. Diferentemente de práticas anteriores que forneciam apenas os pesos do modelo e o código de inferência, além de pré-treinar em conjuntos de dados privados, nosso lançamento inclui o framework completo para treinamento e avaliação do modelo de linguagem em conjuntos de dados publicamente disponíveis, incluindo logs de treinamento, múltiplos checkpoints e configurações de pré-treinamento. Também disponibilizamos código para converter modelos para a biblioteca MLX, permitindo inferência e ajuste fino em dispositivos Apple. Este lançamento abrangente visa capacitar e fortalecer a comunidade de pesquisa aberta, pavimentando o caminho para futuras iniciativas de pesquisa aberta. Nosso código-fonte, juntamente com os pesos do modelo pré-treinado e receitas de treinamento, está disponível em https://github.com/apple/corenet. Além disso, os modelos \model podem ser encontrados no HuggingFace em: https://huggingface.co/apple/OpenELM.

English

The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2times fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet. Additionally, \model models can be found on HuggingFace at: https://huggingface.co/apple/OpenELM.