MH-MoE: Multi-Head Mengsel-van-Experts

MH-MoE:Multi-Head Mixture-of-Experts

November 25, 2024

Auteurs: Shaohan Huang, Xun Wu, Shuming Ma, Furu Wei

cs.AI

Samenvatting

Multi-Head Mixture-of-Experts (MH-MoE) toont superieure prestaties door het gebruik van het multi-head mechanisme om gezamenlijk informatie bij te wonen uit verschillende representatieruimtes binnen verschillende experts. In dit artikel presenteren we een nieuwe implementatie van MH-MoE die zowel FLOPs als parameterpariteit behoudt met schaarse Mixture of Experts-modellen. Experimentele resultaten op taalmodellen tonen aan dat de nieuwe implementatie kwaliteitsverbeteringen oplevert ten opzichte van zowel vanilla MoE als fijnmazige MoE-modellen. Bovendien tonen onze experimenten aan dat MH-MoE compatibel is met 1-bits Large Language Models (LLMs) zoals BitNet.

English

Multi-Head Mixture-of-Experts (MH-MoE) demonstrates superior performance by using the multi-head mechanism to collectively attend to information from various representation spaces within different experts. In this paper, we present a novel implementation of MH-MoE that maintains both FLOPs and parameter parity with sparse Mixture of Experts models. Experimental results on language models show that the new implementation yields quality improvements over both vanilla MoE and fine-grained MoE models. Additionally, our experiments demonstrate that MH-MoE is compatible with 1-bit Large Language Models (LLMs) such as BitNet.