OpenMoE: Um Esforço Inicial em Modelos de Linguagem de Mistura de Especialistas Abertos

OpenMoE: An Early Effort on Open Mixture-of-Experts Language Models

January 29, 2024

Autores: Fuzhao Xue, Zian Zheng, Yao Fu, Jinjie Ni, Zangwei Zheng, Wangchunshu Zhou, Yang You

cs.AI

Resumo

Para ajudar a comunidade de código aberto a ter um melhor entendimento dos modelos de linguagem de grande escala (LLMs) baseados em Mistura de Especialistas (MoE), treinamos e lançamos o OpenMoE, uma série de LLMs MoE decodificadores totalmente de código aberto e reproduzíveis, variando de 650M a 34B de parâmetros e treinados com até mais de 1T de tokens. Nossa investigação confirma que os LLMs baseados em MoE podem oferecer uma relação custo-benefício mais favorável do que os LLMs densos, destacando a eficácia potencial para o desenvolvimento futuro de LLMs. Outra contribuição importante deste estudo é uma análise aprofundada dos mecanismos de roteamento dentro de nossos modelos OpenMoE, levando a três descobertas significativas: Especialização Independente do Contexto, Aprendizado de Roteamento Precoce e Queda em Direção ao Fim. Descobrimos que as decisões de roteamento em modelos MoE são predominantemente baseadas em IDs de tokens, com relevância mínima do contexto. As atribuições de tokens para especialistas são determinadas precocemente na fase de pré-treinamento e permanecem praticamente inalteradas. Esse roteamento imperfeito pode resultar em degradação de desempenho, especialmente em tarefas sequenciais como conversas de múltiplos turnos, onde tokens que aparecem mais tarde em uma sequência têm maior probabilidade de serem descartados. Por fim, repensamos nosso design com base nas observações e análises mencionadas acima. Para facilitar o desenvolvimento futuro de LLMs MoE, propomos estratégias potenciais para mitigar os problemas que encontramos e aprimorar ainda mais os designs de LLMs MoE prontos para uso.

English

To help the open-source community have a better understanding of Mixture-of-Experts (MoE) based large language models (LLMs), we train and release OpenMoE, a series of fully open-sourced and reproducible decoder-only MoE LLMs, ranging from 650M to 34B parameters and trained on up to over 1T tokens. Our investigation confirms that MoE-based LLMs can offer a more favorable cost-effectiveness trade-off than dense LLMs, highlighting the potential effectiveness for future LLM development. One more important contribution of this study is an in-depth analysis of the routing mechanisms within our OpenMoE models, leading to three significant findings: Context-Independent Specialization, Early Routing Learning, and Drop-towards-the-End. We discovered that routing decisions in MoE models are predominantly based on token IDs, with minimal context relevance. The token-to-expert assignments are determined early in the pre-training phase and remain largely unchanged. This imperfect routing can result in performance degradation, particularly in sequential tasks like multi-turn conversations, where tokens appearing later in a sequence are more likely to be dropped. Finally, we rethink our design based on the above-mentioned observations and analysis. To facilitate future MoE LLM development, we propose potential strategies for mitigating the issues we found and further improving off-the-shelf MoE LLM designs.