μ-Parametrisierung für Mixture of Experts

papers.abstract

In den letzten Jahren ist das Interesse an und die Nutzung von LLMs (Large Language Models) stetig gewachsen, wobei muTransfer sich als eine Schlüsseltechnik zur Optimierung von Hyperparametern im groß angelegten Training etabliert hat. Gleichzeitig hat sich Mixture-of-Experts (MoE) als eine führende Architektur für extrem große Modelle herausgestellt. Die Schnittstelle zwischen diesen beiden Fortschritten wurde jedoch bisher nicht erforscht. In dieser Arbeit leiten wir eine mu-Parametrisierung (muP) für MoE ab und liefern theoretische Garantien für das Feature-Learning über verschiedene Modellbreiten hinweg, sowohl im Router als auch in den Experten. Wir validieren unsere Parametrisierung empirisch und untersuchen weiterhin, wie die Skalierung der Anzahl von Experten und der Granularität die optimale Lernrate beeinflusst.

English

Recent years have seen a growing interest and adoption of LLMs, with muTransfer becoming a key technique for tuning hyperparameters in large-scale training. Meanwhile, Mixture-of-Experts (MoE) has emerged as a leading architecture in extremely large models. However, the intersection of these two advancements has remained unexplored. In this work, we derive a mu-Parameterization (muP) for MoE, providing theoretical guarantees for feature learning across model widths in both the router and experts. We empirically validate our parameterization and further investigate how scaling the number of experts and granularity affects the optimal learning rate.

μ-Parametrisierung für Mixture of Experts

μ-Parametrization for Mixture of Experts

papers.abstract

Support