ELDR: Enrutamiento de decodificación consciente de la localidad de expertos para servicio MoE con desagregación de PD

Resumen

En el servicio de LLM desagregado de prefill-decode (PD), cada solicitud se asigna a un trabajador de decodificación después del prefill. Los encaminadores de decodificación existentes solo equilibran la carga; para modelos de mezcla de expertos (MoE) esto es incompleto: trabajadores con igual carga pueden diferir en latencia, ya que cada paso de decodificación carga los pesos de cada experto distinto que su lote activa. Presentamos ELDR, un encaminador de decodificación consciente de la localidad de expertos para el servicio MoE desagregado PD. A partir de las activaciones de expertos del prefill de una solicitud, ELDR construye una firma de experto que predice los expertos que activará durante la generación. Fuera de línea, K-means balanceado particiona el espacio de firmas entre los trabajadores de decodificación; en línea, el enrutamiento por banda de localidad envía cada solicitud al trabajador menos cargado entre aquellos que mejor coinciden con su firma. Una caché de firmas, co-indexada con la caché KV a granularidad de bloque KV, mantiene las firmas exactas bajo el almacenamiento en caché de prefijos. Implementado en vLLM y evaluado en despliegues de hasta 40 GPU, ELDR reduce la mediana de TPOT en un 5.9–13.9% sobre el más fuerte de cuatro líneas base de equilibrio de carga en tres modelos MoE y dos cargas de trabajo, con las salidas del modelo sin cambios.

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.