Ein genauerer Blick auf Mixture-of-Experts in großen Sprachmodellen

A Closer Look into Mixture-of-Experts in Large Language Models

June 26, 2024

Autoren: Ka Man Lo, Zeyu Huang, Zihan Qiu, Zili Wang, Jie Fu

cs.AI

Zusammenfassung

Die Mischung-von-Experten (MoE) gewinnt aufgrund ihrer einzigartigen Eigenschaften und bemerkenswerten Leistung, insbesondere bei Sprachaufgaben, zunehmend an Aufmerksamkeit. Durch die spärliche Aktivierung einer Teilmenge von Parametern für jedes Token könnte die MoE-Architektur die Modellgröße erhöhen, ohne die Recheneffizienz zu beeinträchtigen, und einen besseren Kompromiss zwischen Leistung und Trainingskosten erreichen. Allerdings fehlt es immer noch an einer weiteren Erforschung des zugrunde liegenden Mechanismus der MoE, und ihr Modularisierungsgrad bleibt fraglich. In diesem Papier unternehmen wir einen ersten Versuch, die Funktionsweise von auf MoE basierenden großen Sprachmodellen zu verstehen. Konkret untersuchen wir umfassend die parametrischen und Verhaltensmerkmale von drei aktuellen auf MoE basierenden Modellen und enthüllen einige faszinierende Beobachtungen, darunter (1) Neuronen fungieren wie feingliedrige Experten. (2) Der Router von MoE wählt in der Regel Experten mit größeren Ausgangsnormen aus. (3) Die Expertenvielfalt nimmt mit jeder Schicht zu, wobei die letzte Schicht eine Ausnahme bildet. Basierend auf den Beobachtungen geben wir auch Empfehlungen für ein breites Spektrum von MoE-Praktikern, wie z.B. das Design des Routers und die Expertenzuweisung. Wir hoffen, dass diese Arbeit Licht auf zukünftige Forschung im Rahmen des MoE und anderer modularer Architekturen werfen kann. Der Code ist verfügbar unter https://github.com/kamanphoebe/Look-into-MoEs.

English

Mixture-of-experts (MoE) is gaining increasing attention due to its unique properties and remarkable performance, especially for language tasks. By sparsely activating a subset of parameters for each token, MoE architecture could increase the model size without sacrificing computational efficiency, achieving a better trade-off between performance and training costs. However, the underlying mechanism of MoE still lacks further exploration, and its modularization degree remains questionable. In this paper, we make an initial attempt to understand the inner workings of MoE-based large language models. Concretely, we comprehensively study the parametric and behavioral features of three recent MoE-based models and reveal some intriguing observations, including (1) Neurons act like fine-grained experts. (2) The router of MoE usually selects experts with larger output norms. (3) The expert diversity increases as the layer increases, while the last layer is an outlier. Based on the observations, we also provide suggestions for a broad spectrum of MoE practitioners, such as router design and expert allocation. We hope this work could shed light on future research on the MoE framework and other modular architectures. Code is available at https://github.com/kamanphoebe/Look-into-MoEs.