MH-MoE: Múltiplos Cabeçalhos Misto de Especialistas

MH-MoE:Multi-Head Mixture-of-Experts

November 25, 2024

Autores: Shaohan Huang, Xun Wu, Shuming Ma, Furu Wei

cs.AI

Resumo

O Mecanismo de Múltiplas Cabeças Misto de Especialistas (MH-MoE) demonstra um desempenho superior ao utilizar o mecanismo de múltiplas cabeças para atender coletivamente a informações de vários espaços de representação dentro de diferentes especialistas. Neste artigo, apresentamos uma implementação inovadora do MH-MoE que mantém tanto o mesmo número de operações de ponto flutuante (FLOPs) quanto paridade de parâmetros com modelos esparsos de Misto de Especialistas. Resultados experimentais em modelos de linguagem mostram que a nova implementação gera melhorias na qualidade em relação tanto aos modelos de MoE convencionais quanto aos modelos de MoE de granularidade fina. Além disso, nossos experimentos demonstram que o MH-MoE é compatível com Modelos de Linguagem Grandes (LLMs) de 1 bit, como o BitNet.

English

Multi-Head Mixture-of-Experts (MH-MoE) demonstrates superior performance by using the multi-head mechanism to collectively attend to information from various representation spaces within different experts. In this paper, we present a novel implementation of MH-MoE that maintains both FLOPs and parameter parity with sparse Mixture of Experts models. Experimental results on language models show that the new implementation yields quality improvements over both vanilla MoE and fine-grained MoE models. Additionally, our experiments demonstrate that MH-MoE is compatible with 1-bit Large Language Models (LLMs) such as BitNet.