Enrutamiento por Umbral Experto para Modelado de Lenguaje Autoregresivo con Asignación Dinámica de Cálculo y Balanceo de Carga
Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing
March 12, 2026
Autores: Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun
cs.AI
Resumen
El modelo Token-choice Mixture-of-Experts (TC-MoE) enruta cada token a un número fijo de expertos, lo que limita la asignación dinámica de cálculo y requiere pérdidas auxiliares para mantener el equilibrio de carga. Proponemos el enrutamiento por Umbral de Experto (ET), donde cada experto mantiene un umbral de media móvil exponencial (EMA) estimado a partir de la distribución global de tokens. Tanto durante el entrenamiento como en la inferencia, cada token se enruta de forma independiente a un experto si su puntuación supera el umbral del experto, permitiendo una asignación dinámica de cálculo mientras se logra equilibrio de carga sin pérdidas auxiliares. Este mecanismo completamente causal elimina la dependencia de otros tokens en el lote, haciéndolo ideal para el modelado de lenguaje autoregresivo. En experimentos de preentrenamiento escalando hasta 2.4B de parámetros en FineWeb-Edu, ET logra una pérdida de entropía cruzada 0.067 menor que TC-MoE, equivalente a alcanzar el mismo rendimiento con 1.6 veces menos tokens.
English
Token-choice Mixture-of-Experts (TC-MoE) routes each token to a fixed number of experts, limiting dynamic computation allocation and requiring auxiliary losses to maintain load balance. We propose Expert Threshold (ET) routing, where each expert maintains an exponential moving average (EMA) threshold estimated from the global token distribution. At both training and inference, each token is independently routed to an expert if its score exceeds the expert's threshold, enabling dynamic computation allocation while achieving load balance without auxiliary losses. This fully causal mechanism eliminates dependence on other tokens in the batch, making it well-suited for autoregressive language modeling. In pretraining experiments scaling to 2.4B parameters on FineWeb-Edu, ET achieves 0.067 lower cross-entropy loss than TC-MoE, equivalent to reaching the same performance with 1.6times fewer tokens.