ELDR: Expert-Lokalitätsbewusstes Decode-Routing für PD-disaggregiertes MoE-Serving

Zusammenfassung

Beim disaggregierten LLM-Serving mit Prefill-Decode (PD) wird jede Anfrage nach dem Prefill einem Decode-Worker zugewiesen. Bestehende Decode-Router gleichen lediglich die Last aus; bei Mixture-of-Experts (MoE)-Modellen ist dies unvollständig: gleich ausgelastete Worker können sich in der Latenz unterscheiden, da jeder Decode-Schritt die Gewichte jedes einzelnen Experten lädt, den sein Batch aktiviert. Wir stellen ELDR vor, einen expertenlokalitätsbewussten Decode-Router für PD-disaggregiertes MoE-Serving. Aus den Prefill-Expertenaktivierungen einer Anfrage erstellt ELDR eine Expertensignatur, die die während der Generierung aktivierten Experten vorhersagt. Offline partitioniert ein balancierter K-Means den Signaturraum auf die Decode-Worker; online sendet Locality-Band-Routing jede Anfrage an den am wenigsten ausgelasteten Worker unter denen, die am besten zu ihrer Signatur passen. Ein Signatur-Cache, der gemeinsam mit dem KV-Cache auf KV-Block-Granularität indiziert wird, hält die Signaturen unter Prefix-Caching exakt. Implementiert in vLLM und auf Bereitstellungen von bis zu 40 GPUs evaluiert, reduziert ELDR den medianen TPOT um 5,9–13,9 % gegenüber der stärksten von vier Lastausgleichs-Baselines über drei MoE-Modelle und zwei Workloads hinweg, bei unveränderten Modellausgaben.

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.