Mehrkopf-Mischung-von-Experten

papers.abstract

Sparse Mixtures of Experts (SMoE) skaliert die Modellkapazität, ohne signifikante Zunahmen bei Trainings- und Inferenzkosten zu verursachen, weist jedoch die folgenden zwei Probleme auf: (1) Geringe Expertenaktivierung, bei der nur eine kleine Teilmenge von Experten für die Optimierung aktiviert wird. (2) Mangelnde feinkörnige analytische Fähigkeiten für mehrere semantische Konzepte innerhalb einzelner Tokens. Wir schlagen Multi-Head Mixture-of-Experts (MH-MoE) vor, das einen Multi-Head-Mechanismus verwendet, um jedes Token in mehrere Untertokens aufzuteilen. Diese Untertokens werden dann einer vielfältigen Expertengruppe parallel zugewiesen und verarbeitet, um nahtlos wieder in die ursprüngliche Token-Form integriert zu werden. Der Multi-Head-Mechanismus ermöglicht es dem Modell, gemeinsam auf Informationen aus verschiedenen Repräsentationsräumen innerhalb verschiedener Experten zuzugreifen, während er die Expertenaktivierung signifikant verbessert, um so das Kontextverständnis zu vertiefen und Overfitting zu mildern. Darüber hinaus ist unser MH-MoE einfach umzusetzen und entkoppelt sich von anderen SMoE-Optimierungsmethoden, was die Integration mit anderen SMoE-Modellen zur Verbesserung der Leistung erleichtert. Umfangreiche experimentelle Ergebnisse über drei Aufgaben - Englischsprachiges Sprachmodellieren, mehrsprachiges Sprachmodellieren und maskierte Multi-Modalitäts-Modellierungsaufgaben - zeigen die Wirksamkeit von MH-MoE.

English

Sparse Mixtures of Experts (SMoE) scales model capacity without significant increases in training and inference costs, but exhibits the following two issues: (1) Low expert activation, where only a small subset of experts are activated for optimization. (2) Lacking fine-grained analytical capabilities for multiple semantic concepts within individual tokens. We propose Multi-Head Mixture-of-Experts (MH-MoE), which employs a multi-head mechanism to split each token into multiple sub-tokens. These sub-tokens are then assigned to and processed by a diverse set of experts in parallel, and seamlessly reintegrated into the original token form. The multi-head mechanism enables the model to collectively attend to information from various representation spaces within different experts, while significantly enhances expert activation, thus deepens context understanding and alleviate overfitting. Moreover, our MH-MoE is straightforward to implement and decouples from other SMoE optimization methods, making it easy to integrate with other SMoE models for enhanced performance. Extensive experimental results across three tasks: English-focused language modeling, Multi-lingual language modeling and Masked multi-modality modeling tasks, demonstrate the effectiveness of MH-MoE.