Experten-Schwellenwert-Routing für autoregressive Sprachmodellierung mit dynamischer Berechnungsallokation und Lastverteilung
Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing
March 12, 2026
Autoren: Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun
cs.AI
Zusammenfassung
Token-Choice Mixture-of-Experts (TC-MoE) leitet jedes Token an eine feste Anzahl von Experten weiter, was die dynamische Berechnungszuweisung einschränkt und Hilfsverluste zur Aufrechterhaltung der Lastverteilung erfordert. Wir schlagen Expert Threshold (ET) Routing vor, bei dem jeder Experte einen exponentiell gleitenden Durchschnittsschwellenwert (EMA) verwaltet, der aus der globalen Token-Verteilung geschätzt wird. Sowohl während des Trainings als auch des Inferenzprozesses wird jedes Token unabhängig an einen Experten weitergeleitet, wenn sein Wert den Schwellenwert des Experten überschreitet. Dies ermöglicht eine dynamische Berechnungszuweisung bei gleichzeitiger Erzielung einer Lastverteilung ohne Hilfsverluste. Dieser vollständig kausale Mechanismus beseitigt die Abhängigkeit von anderen Token im Batch, was ihn besonders für autoregressive Sprachmodellierung geeignet macht. In Pretraining-Experimenten, die auf 2,4 Mrd. Parameter auf FineWeb-Edu skaliert wurden, erzielt ET einen um 0,067 niedrigeren Kreuzentropieverlust als TC-MoE, was dem Erreichen derselben Leistung mit 1,6-mal weniger Token entspricht.
English
Token-choice Mixture-of-Experts (TC-MoE) routes each token to a fixed number of experts, limiting dynamic computation allocation and requiring auxiliary losses to maintain load balance. We propose Expert Threshold (ET) routing, where each expert maintains an exponential moving average (EMA) threshold estimated from the global token distribution. At both training and inference, each token is independently routed to an expert if its score exceeds the expert's threshold, enabling dynamic computation allocation while achieving load balance without auxiliary losses. This fully causal mechanism eliminates dependence on other tokens in the batch, making it well-suited for autoregressive language modeling. In pretraining experiments scaling to 2.4B parameters on FineWeb-Edu, ET achieves 0.067 lower cross-entropy loss than TC-MoE, equivalent to reaching the same performance with 1.6times fewer tokens.