MH-MoE : Mélange de Têtes Multiples d'Experts

MH-MoE:Multi-Head Mixture-of-Experts

November 25, 2024

Auteurs: Shaohan Huang, Xun Wu, Shuming Ma, Furu Wei

cs.AI

Résumé

Le modèle Multi-Head Mixture-of-Experts (MH-MoE) démontre des performances supérieures en utilisant le mécanisme multi-têtes pour collectivement prendre en compte les informations provenant de différents espaces de représentation au sein de différents experts. Dans cet article, nous présentons une nouvelle implémentation de MH-MoE qui maintient à la fois les FLOPs et la parité des paramètres avec les modèles Mixture of Experts épars. Les résultats expérimentaux sur les modèles de langage montrent que la nouvelle implémentation apporte des améliorations de qualité par rapport aux modèles MoE classiques et MoE à granularité fine. De plus, nos expériences démontrent que MH-MoE est compatible avec les Modèles de Langage Large (LLM) à 1 bit tels que BitNet.

English

Multi-Head Mixture-of-Experts (MH-MoE) demonstrates superior performance by using the multi-head mechanism to collectively attend to information from various representation spaces within different experts. In this paper, we present a novel implementation of MH-MoE that maintains both FLOPs and parameter parity with sparse Mixture of Experts models. Experimental results on language models show that the new implementation yields quality improvements over both vanilla MoE and fine-grained MoE models. Additionally, our experiments demonstrate that MH-MoE is compatible with 1-bit Large Language Models (LLMs) such as BitNet.