ELDR : routage de décodage conscient de la localité des experts pour le service MoE PD-désagrégé

Résumé

Dans le cadre du service LLM désagrégé préremplissage-décodage (PD), chaque requête est affectée à un worker de décodage après le préremplissage. Les routeurs de décodage existants n'équilibrent que la charge ; pour les modèles à mélange d'experts (MoE), cela est insuffisant : des workers également chargés peuvent présenter des latences différentes, car chaque étape de décodage charge les poids de chaque expert distinct activé par son lot. Nous présentons ELDR, un routeur de décodage conscient de la localité des experts pour le service MoE désagrégé PD. À partir des activations d'experts lors du préremplissage d'une requête, ELDR construit une signature d'expert prédisant les experts qu'elle activera pendant la génération. Hors ligne, un K-moyennes équilibré partitionne l'espace des signatures entre les workers de décodage ; en ligne, un routage par bande de localité envoie chaque requête au worker le moins chargé parmi ceux correspondant le mieux à sa signature. Un cache de signatures, co-indexé avec le cache KV à la granularité des blocs KV, maintient les signatures exactes sous mise en cache des préfixes. Implémenté dans vLLM et évalué sur des déploiements allant jusqu'à 40 GPU, ELDR réduit le TPOT médian de 5,9 à 13,9 % par rapport au plus performant de quatre références d'équilibrage de charge sur trois modèles MoE et deux charges de travail, les sorties des modèles restant inchangées.

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.