GORGO: クロスリージョンネットワーク対応LLMサービングのためのオンラインチューニング

要旨

近年、LLM推論サービスはクライアントからのリクエストをグローバルに分散されたエンジンレプリカにプロキシするようになっている。負荷分散ポリシーは、レイテンシやTTFTなどの指標を最適化する際に、KVキャッシュの局所性、レプリカの負荷、変動するネットワークレイテンシなどの要因を総合的に考慮する必要がある。しかし、既存のシステムはそのコストモデルでこれらの要因の一部しか評価しておらず、レプリカ間で負荷とKVキャッシュが不均一に集中する原因となっている。我々はGORGOを提案する。これは、調整可能なパラメータを用いてネットワークレイテンシ、プリフィルコスト、およびキューイング遅延を総合的に考慮するプロキシアーキテクチャである。LMSYS-Chat1MやWildChat-4.8Mのようなオープンソースのチャットデータセットは長文脈で高いプレフィックス再利用のデータを欠いているため、我々は長文脈のプロダクションメタデータから合成データセットART-Chat-2.5Mを公開する。ART-Chat-2.5Mのチューニングウィンドウにおいて、進化戦略によりGORGOポリシーのパラメータを導き、p95 TTFTを直接最適化する。保留された評価ウィンドウでは、チューニングで学習したパラメータ値を固定し、単純なセッションアフィニティやプレフィックスキャッシュなどのベースライン負荷分散ポリシーと比較して、p95 TTFTを6.9～15.5%、p95エンドツーエンド（E2E）レイテンシを14.3～30.9%改善する。コードとART-Chat-2.5Mデータセットはhttps://github.com/Arcadia-Research-Team/GORGOで入手できる。

English

Increasingly, LLM inference services proxy client requests to engine replicas distributed globally. Load-balancing policies must jointly account for factors including KV-cache locality, replica load, and variable network latency when optimizing for metrics like latency and TTFT. However, existing systems only evaluate a subset of these factors in their cost model, leading to uneven concentrations of load and KV-cache across replicas. We present GORGO, a proxy architecture that holistically factors network latency, prefill cost, and queueing delay using tunable parameters. Since open-source chat datasets such as LMSYS-Chat1M and WildChat-4.8M lack long-context, high prefix-reuse data, we release a synthetic dataset, ART-Chat-2.5M, from long-context production metadata. On a tuning window from ART-Chat-2.5M, evolutionary strategies guide the GORGO policy's parameters to directly optimize p95 TTFT. During held-out evaluation windows, we fix the parameter values learned from tuning and improve p95 TTFT by 6.9-15.5% and p95 end-to-end (E2E) latency by 14.3-30.9% over baseline load-balancing policies such as simple session affinity and prefix-cache. The code and ART-Chat-2.5M dataset can be found at https://github.com/Arcadia-Research-Team/GORGO.