OpenELM: Эффективное семейство языковых моделей с открытой системой обучения и вывода.

OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

April 22, 2024

Авторы: Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

cs.AI

Аннотация

Воспроизводимость и прозрачность больших языковых моделей крайне важны для продвижения открытого исследования, обеспечения надежности результатов и возможности изучения данных и модельных предвзятостей, а также потенциальных рисков. В этой связи мы выпускаем OpenELM, современную открытую языковую модель. OpenELM использует стратегию масштабирования слоев для эффективного распределения параметров в каждом слое модели трансформера, что приводит к улучшению точности. Например, при бюджете параметров около одного миллиарда параметров OpenELM показывает улучшение точности на 2,36% по сравнению с OLMo, требуя в 2 раза меньше токенов предварительного обучения. В отличие от предыдущих практик, предоставляющих только веса модели и код вывода, и предварительное обучение на частных наборах данных, наш выпуск включает полную структуру для обучения и оценки языковой модели на общедоступных наборах данных, включая журналы обучения, несколько контрольных точек и конфигурации предварительного обучения. Мы также предоставляем код для преобразования моделей в библиотеку MLX для вывода и настройки на устройствах Apple. Этот всесторонний выпуск направлен на поддержку и укрепление сообщества открытого исследования, прокладывая путь для будущих открытых исследовательских начинаний. Наш исходный код вместе с весами предварительно обученной модели и рецептами обучения доступен по адресу https://github.com/apple/corenet. Кроме того, модели можно найти на HuggingFace по ссылке: https://huggingface.co/apple/OpenELM.

English

The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2times fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet. Additionally, \model models can be found on HuggingFace at: https://huggingface.co/apple/OpenELM.