ELDR: PD 분리형 MoE 서빙을 위한 전문가 지역성 인식 디코드 라우팅

초록

프리필-디코드(PD) 분리형 LLM 서빙에서 각 요청은 프리필 후 디코드 워커에 할당된다. 기존의 디코드 라우터는 부하만을 균형화하는데, 혼합 전문가(MoE) 모델의 경우 이는 불완전하다. 동일한 부하를 가진 워커라도 각 디코드 단계에서 자신의 배치가 활성화하는 모든 개별 전문가의 가중치를 로드해야 하므로 지연 시간이 달라질 수 있기 때문이다. 본 논문에서는 PD 분리형 MoE 서빙을 위한 전문가 지역성 인식 디코드 라우터인 ELDR을 제시한다. 요청의 프리필 전문가 활성화로부터 ELDR은 생성 중 활성화할 전문가를 예측하는 전문가 시그니처를 구축한다. 오프라인에서는 균형 K-평균이 시그니처 공간을 디코드 워커들에 걸쳐 분할하고, 온라인에서는 지역성 대역 라우팅이 각 요청을 해당 시그니처와 가장 잘 일치하는 워커 중에서 부하가 가장 적은 워커로 전송한다. KV 블록 단위로 KV 캐시와 공동 인덱싱되는 시그니처 캐시는 프리픽스 캐싱 하에서도 시그니처를 정확하게 유지한다. vLLM에 구현하고 최대 40GPU 배포에서 평가한 결과, ELDR은 세 가지 MoE 모델과 두 가지 워크로드에 걸쳐 네 가지 부하 분산 기준선 중 가장 강력한 것과 비교하여 중간 TPOT을 5.9-13.9% 감소시키며 모델 출력은 변경되지 않는다.

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.