ELDR: Roteamento de Decodificação Consciente da Localidade dos Especialistas para Serviço MoE com PD Desagregado

Resumo

Na execução de LLM desagregada com pré-preenchimento e decodificação (PD), cada requisição é atribuída a um trabalhador de decodificação após o pré-preenchimento. Os roteadores de decodificação existentes equilibram apenas a carga; para modelos de mistura de especialistas (MoE), isso é incompleto: trabalhadores com carga igual podem diferir em latência, já que cada etapa de decodificação carrega os pesos de cada especialista distinto que seu lote ativa. Apresentamos o ELDR, um roteador de decodificação ciente da localidade dos especialistas para execução de MoE desagregada em PD. A partir das ativações de especialistas no pré-preenchimento da requisição, o ELDR constrói uma assinatura de especialistas que prevê quais especialistas serão ativados durante a geração. Offline, o K-means balanceado particiona o espaço de assinaturas entre os trabalhadores de decodificação; online, o roteamento por faixa de localidade envia cada requisição ao trabalhador menos carregado entre aqueles que melhor correspondem à sua assinatura. Um cache de assinaturas, co-indexado com o cache KV na granularidade de blocos KV, mantém as assinaturas exatas sob cacheamento de prefixo. Implementado no vLLM e avaliado em implantações de até 40 GPUs, o ELDR reduz o TPOT mediano em 5,9–13,9% em relação ao melhor dos quatro métodos de balanceamento de carga de base, em três modelos MoE e duas cargas de trabalho, com as saídas do modelo inalteradas.

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.