ELDR: Expert-Lokaliteitsbewuste Decode-Routering voor PD-Gedisaggregeerde MoE Serving

Samenvatting

Bij prefill-decode (PD) gedesaggregeerde LLM-dienstverlening wordt elk verzoek na de prefill toegewezen aan een decode-werker. Bestaande decode-routers balanceren alleen de belasting; voor mixture-of-experts (MoE)-modellen is dit onvolledig: even zwaar belaste werkers kunnen verschillen in latentie, omdat elke decodestap de gewichten laadt van elk afzonderlijk expert dat door hun batch wordt geactiveerd. Wij presenteren ELDR, een expert-locality-bewuste decode-router voor PD-gedesaggregeerde MoE-dienstverlening. Op basis van de prefill-expertactivaties van een verzoek bouwt ELDR een expertsignatuur die de experts voorspelt die het tijdens generatie zal activeren. Offline partitioneert gebalanceerd K-means de signatuurruimte over decode-werkers; online stuurt locality-band-routering elk verzoek naar de minst belaste werker onder degenen die het beste overeenkomen met zijn signatuur. Een signatuurcache, samen geïndexeerd met de KV-cache op KV-blokniveau, houdt signatures exact onder prefix-caching. Geïmplementeerd in vLLM en geëvalueerd op implementaties met maximaal 40 GPU's, vermindert ELDR de mediane TPOT met 5,9–13,9% ten opzichte van de sterkste van vier belastingverdelingsbaselines, bij drie MoE-modellen en twee workloads, waarbij de modeloutputs ongewijzigd blijven.

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.