OLMoE: Open Mixture-of-Experts Taalmodellen

OLMoE: Open Mixture-of-Experts Language Models

September 3, 2024

Auteurs: Niklas Muennighoff, Luca Soldaini, Dirk Groeneveld, Kyle Lo, Jacob Morrison, Sewon Min, Weijia Shi, Pete Walsh, Oyvind Tafjord, Nathan Lambert, Yuling Gu, Shane Arora, Akshita Bhagia, Dustin Schwenk, David Wadden, Alexander Wettig, Binyuan Hui, Tim Dettmers, Douwe Kiela, Ali Farhadi, Noah A. Smith, Pang Wei Koh, Amanpreet Singh, Hannaneh Hajishirzi

cs.AI

Samenvatting

We introduceren OLMoE, een volledig open, state-of-the-art taalmodel dat gebruikmaakt van een sparse Mixture-of-Experts (MoE). OLMoE-1B-7B heeft 7 miljard (B) parameters, maar gebruikt slechts 1B per invoertoken. We pretrainen het op 5 biljoen tokens en passen het verder aan om OLMoE-1B-7B-Instruct te creëren. Onze modellen overtreffen alle beschikbare modellen met vergelijkbare actieve parameters, en doen zelfs grotere modellen zoals Llama2-13B-Chat en DeepSeekMoE-16B achter zich. We presenteren diverse experimenten over MoE-training, analyseren de routering in ons model die een hoge specialisatie laat zien, en maken alle aspecten van ons werk open source: modelgewichten, trainingsdata, code en logs.

English

We introduce OLMoE, a fully open, state-of-the-art language model leveraging sparse Mixture-of-Experts (MoE). OLMoE-1B-7B has 7 billion (B) parameters but uses only 1B per input token. We pretrain it on 5 trillion tokens and further adapt it to create OLMoE-1B-7B-Instruct. Our models outperform all available models with similar active parameters, even surpassing larger ones like Llama2-13B-Chat and DeepSeekMoE-16B. We present various experiments on MoE training, analyze routing in our model showing high specialization, and open-source all aspects of our work: model weights, training data, code, and logs.