ELDR: PD分離型MoEサービス提供におけるエキスパート局所性を考慮したデコードルーティング

要旨

プリフィル・デコード（PD）分離型LLMサービングでは、各リクエストはプリフィル後にデコードワーカーに割り当てられます。既存のデコードルーターは負荷のみをバランスしますが、混合エキスパート（MoE）モデルではこれでは不十分です。なぜなら、各デコードステップでそのバッチが活性化するすべての異なるエキスパートの重みをロードするため、均等に負荷がかかったワーカー間でもレイテンシに差異が生じるからです。本稿では、PD分離型MoEサービングのためのエキスパート局所性を考慮したデコードルーターELDRを提案します。ELDRは、リクエストのプリフィルにおけるエキスパート活性化から、生成中に活性化されるエキスパートを予測するエキスパートシグネチャを構築します。オフラインでは、バランス型K平均法によりシグネチャ空間をデコードワーカー間で分割します。オンラインでは、局所性バンドルーティングにより、各リクエストをそのシグネチャに最も適合するワーカーのうち、最も負荷の少ないワーカーに送信します。シグネチャキャッシュはKVキャッシュと共インデックス化され、KVブロック粒度で動作し、プレフィックスキャッシングのもとでシグネチャを正確に保ちます。vLLMに実装し、最大40GPUのデプロイメントで評価した結果、ELDRは3つのMoEモデルと2つのワークロードにおいて、4つの負荷分散ベースラインのうち最も優れたものに対して、中央値TPOTを5.9%～13.9%削減し、モデル出力は変更されません。

English

In prefill-decode (PD) disaggregated LLM serving, each request is assigned to a decode worker after prefill. Existing decode routers balance only load; for mixture-of-experts (MoE) models this is incomplete: equally loaded workers can differ in latency, since each decode step loads the weights of every distinct expert its batch activates. We present ELDR, an expert-locality-aware decode router for PD-disaggregated MoE serving. From a request's prefill expert activations, ELDR builds an expert signature predicting the experts it will activate during generation. Offline, balanced K-means partitions signature space across decode workers; online, locality-band routing sends each request to the least-loaded worker among those best matching its signature. A signature cache, co-indexed with the KV cache at KV-block granularity, keeps signatures exact under prefix caching. Implemented in vLLM and evaluated on deployments of up to 40 GPUs, ELDR reduces median TPOT by 5.9-13.9% over the strongest of four load-balancing baselines across three MoE models and two workloads, with model outputs unchanged.