GORGO: Online-Tuning für regionsübergreifendes netzwerkbewusstes LLM-Serving

Zusammenfassung

Zunehmend leiten LLM-Inferenzdienste Client-Anfragen an global verteilte Engine-Replikate weiter. Lastverteilungsrichtlinien müssen bei der Optimierung von Metriken wie Latenz und TTFT gemeinsam Faktoren wie KV-Cache-Lokalität, Replikatauslastung und variable Netzwerklatenz berücksichtigen. Allerdings bewerten bestehende Systeme in ihrem Kostenmodell nur eine Teilmenge dieser Faktoren, was zu ungleichmäßigen Last- und KV-Cache-Konzentrationen über die Replikate hinweg führt. Wir stellen GORGO vor, eine Proxy-Architektur, die Netzwerklatenz, Prefill-Kosten und Wartezeit ganzheitlich mittels einstellbarer Parameter berücksichtigt. Da Open-Source-Chatdatensätze wie LMSYS-Chat1M und WildChat-4.8M keine Daten mit langen Kontexten und hoher Prefix-Wiederverwendung enthalten, veröffentlichen wir einen synthetischen Datensatz, ART-Chat-2.5M, der aus Produktionsmetadaten mit langen Kontexten generiert wurde. Auf einem Abstimmungsfenster aus ART-Chat-2.5M steuern evolutionäre Strategien die Parameter der GORGO-Richtlinie, um die p95-TTFT direkt zu optimieren. Während der zurückgehaltenen Evaluierungsfenster fixieren wir die aus dem Tuning gelernten Parameterwerte und verbessern die p95-TTFT um 6,9–15,5 % und die p95-End-to-End-Latenz (E2E) um 14,3–30,9 % im Vergleich zu Baseline-Lastverteilungsrichtlinien wie einfacher Sitzungsaffinität und Prefix-Cache. Der Code und der ART-Chat-2.5M-Datensatz sind unter https://github.com/Arcadia-Research-Team/GORGO verfügbar.

English

Increasingly, LLM inference services proxy client requests to engine replicas distributed globally. Load-balancing policies must jointly account for factors including KV-cache locality, replica load, and variable network latency when optimizing for metrics like latency and TTFT. However, existing systems only evaluate a subset of these factors in their cost model, leading to uneven concentrations of load and KV-cache across replicas. We present GORGO, a proxy architecture that holistically factors network latency, prefill cost, and queueing delay using tunable parameters. Since open-source chat datasets such as LMSYS-Chat1M and WildChat-4.8M lack long-context, high prefix-reuse data, we release a synthetic dataset, ART-Chat-2.5M, from long-context production metadata. On a tuning window from ART-Chat-2.5M, evolutionary strategies guide the GORGO policy's parameters to directly optimize p95 TTFT. During held-out evaluation windows, we fix the parameter values learned from tuning and improve p95 TTFT by 6.9-15.5% and p95 end-to-end (E2E) latency by 14.3-30.9% over baseline load-balancing policies such as simple session affinity and prefix-cache. The code and ART-Chat-2.5M dataset can be found at https://github.com/Arcadia-Research-Team/GORGO.