ELDR: маршрутизация декодирования с учетом локальности экспертов для обслуживания MoE с дезагрегированным PD

Аннотация

При разобщенном обслуживании LLM с фазами prefill и decode (PD) каждый запрос после фазы prefill назначается на воркер decode. Существующие маршрутизаторы decode балансируют только нагрузку; для моделей со смесью экспертов (MoE) этого недостаточно: одинаково загруженные воркеры могут различаться по задержке, поскольку каждый шаг decode загружает веса всех различных экспертов, активированных его батчем. Мы представляем ELDR — маршрутизатор decode, учитывающий локальность экспертов для PD-разобщенного обслуживания MoE. На основе активаций экспертов во время prefill запроса ELDR строит сигнатуру эксперта, предсказывающую, какие эксперты будут активированы в ходе генерации. Офлайн сбалансированное K-средних разбивает пространство сигнатур между воркерами decode; онлайн маршрутизация с учетом локальности отправляет каждый запрос на наименее загруженный воркер среди тех, чья сигнатура наилучшим образом совпадает с его собственной. Кэш сигнатур, совместно индексированный с кэшем KV на уровне блоков KV, сохраняет точность сигнатур при кэшировании префиксов. Реализованный в vLLM и оцененный на развертываниях до 40 GPU, ELDR снижает медианный TPOT на 5.9–13.9% по сравнению с сильнейшим из четырех базовых алгоритмов балансировки нагрузки для трех моделей MoE и двух рабочих нагрузок, при этом выходные данные моделей остаются неизменными.

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.