OpenELM: 오픈소스 학습 및 추론 프레임워크를 갖춘 효율적인 언어 모델 패밀리

OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework

April 22, 2024

저자: Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari

cs.AI

초록

대규모 언어 모델의 재현성과 투명성은 개방형 연구를 진전시키고, 결과의 신뢰성을 보장하며, 데이터 및 모델 편향과 잠재적 위험에 대한 조사를 가능하게 하는 데 있어 매우 중요합니다. 이를 위해 우리는 최첨단 오픈 언어 모델인 OpenELM을 공개합니다. OpenELM은 트랜스포머 모델의 각 계층 내에서 매개변수를 효율적으로 할당하기 위해 계층별 스케일링 전략을 사용하여 정확도를 향상시킵니다. 예를 들어, 약 10억 개의 매개변수 예산으로 OpenELM은 OLMo 대비 2.36%의 정확도 향상을 보이며, 사전 학습 토큰 수를 2배 더 적게 요구합니다. 이전의 관행과 달리, 모델 가중치와 추론 코드만을 제공하고 비공개 데이터셋에서 사전 학습을 진행하는 대신, 우리는 공개적으로 이용 가능한 데이터셋에서 언어 모델을 훈련하고 평가하기 위한 완전한 프레임워크를 포함하여 훈련 로그, 다중 체크포인트, 사전 학습 구성을 공개합니다. 또한 Apple 기기에서 추론 및 미세 조정을 위해 모델을 MLX 라이브러리로 변환하는 코드도 공개합니다. 이 포괄적인 공개는 개방형 연구 커뮤니티를 강화하고 미래의 개방형 연구 노력을 위한 길을 열기 위한 것입니다. 우리의 소스 코드와 사전 훈련된 모델 가중치 및 훈련 레시피는 https://github.com/apple/corenet에서 확인할 수 있습니다. 또한, \model 모델은 HuggingFace에서 https://huggingface.co/apple/OpenELM에서 찾아볼 수 있습니다.

English

The reproducibility and transparency of large language models are crucial for advancing open research, ensuring the trustworthiness of results, and enabling investigations into data and model biases, as well as potential risks. To this end, we release OpenELM, a state-of-the-art open language model. OpenELM uses a layer-wise scaling strategy to efficiently allocate parameters within each layer of the transformer model, leading to enhanced accuracy. For example, with a parameter budget of approximately one billion parameters, OpenELM exhibits a 2.36% improvement in accuracy compared to OLMo while requiring 2times fewer pre-training tokens. Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations. We also release code to convert models to MLX library for inference and fine-tuning on Apple devices. This comprehensive release aims to empower and strengthen the open research community, paving the way for future open research endeavors. Our source code along with pre-trained model weights and training recipes is available at https://github.com/apple/corenet. Additionally, \model models can be found on HuggingFace at: https://huggingface.co/apple/OpenELM.