OpenMoE: Ein erster Ansatz für offene Mixture-of-Experts-Sprachmodelle

OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models

January 29, 2024

Autoren: Fuzhao Xue, Zian Zheng, Yao Fu, Jinjie Ni, Zangwei Zheng, Wangchunshu Zhou, Yang You

cs.AI

Zusammenfassung

Um der Open-Source-Community ein besseres Verständnis von Mixture-of-Experts (MoE)-basierten großen Sprachmodellen (LLMs) zu ermöglichen, trainieren und veröffentlichen wir OpenMoE, eine Reihe vollständig quelloffener und reproduzierbarer Decoder-only-MoE-LLMs, die von 650M bis 34B Parametern reichen und mit bis zu über 1T Tokens trainiert wurden. Unsere Untersuchung bestätigt, dass MoE-basierte LLMs ein günstigeres Kosten-Nutzen-Verhältnis bieten können als dichte LLMs, was das Potenzial für die zukünftige Entwicklung von LLMs unterstreicht. Ein weiterer wichtiger Beitrag dieser Studie ist eine detaillierte Analyse der Routing-Mechanismen innerhalb unserer OpenMoE-Modelle, die zu drei bedeutenden Erkenntnissen führt: Kontextunabhängige Spezialisierung, Frühes Routing-Lernen und Drop-towards-the-End. Wir haben festgestellt, dass Routing-Entscheidungen in MoE-Modellen überwiegend auf Token-IDs basieren, mit minimaler Kontextrelevanz. Die Token-zu-Expert-Zuordnungen werden früh in der Pre-Training-Phase bestimmt und bleiben weitgehend unverändert. Dieses unvollkommene Routing kann zu Leistungseinbußen führen, insbesondere bei sequenziellen Aufgaben wie mehrschrittigen Konversationen, bei denen Tokens, die später in einer Sequenz erscheinen, mit höherer Wahrscheinlichkeit verworfen werden. Abschließend überdenken wir unser Design basierend auf den oben genannten Beobachtungen und Analysen. Um die zukünftige Entwicklung von MoE-LLMs zu erleichtern, schlagen wir potenzielle Strategien vor, um die von uns identifizierten Probleme zu mildern und die vorhandenen MoE-LLM-Designs weiter zu verbessern.

English

To help the open-source community have a better understanding of Mixture-of-Experts (MoE) based large language models (LLMs), we train and release OpenMoE, a series of fully open-sourced and reproducible decoder-only MoE LLMs, ranging from 650M to 34B parameters and trained on up to over 1T tokens. Our investigation confirms that MoE-based LLMs can offer a more favorable cost-effectiveness trade-off than dense LLMs, highlighting the potential effectiveness for future LLM development. One more important contribution of this study is an in-depth analysis of the routing mechanisms within our OpenMoE models, leading to three significant findings: Context-Independent Specialization, Early Routing Learning, and Drop-towards-the-End. We discovered that routing decisions in MoE models are predominantly based on token IDs, with minimal context relevance. The token-to-expert assignments are determined early in the pre-training phase and remain largely unchanged. This imperfect routing can result in performance degradation, particularly in sequential tasks like multi-turn conversations, where tokens appearing later in a sequence are more likely to be dropped. Finally, we rethink our design based on the above-mentioned observations and analysis. To facilitate future MoE LLM development, we propose potential strategies for mitigating the issues we found and further improving off-the-shelf MoE LLM designs.