TurboServe: Effizientes und wirtschaftliches Bereitstellen von Streaming-Videogenerierung

Zusammenfassung

Streaming-Videogenerierung entwickelt sich zu einer neuen Serving-Workload, bei der Nutzer mit langlebigen Sitzungen interagieren, die Video schrittweise, Stück für Stück, erzeugen. Im Gegensatz zur Offline-Videogenerierung oder zum typischen LLM-Serving muss die Streaming-Videogenerierung den Sitzungszustand über aktive und inaktive Phasen hinweg bewahren, laufende Sitzungen wiederholt planen und jedes Stück unter einer strengen Latenzanforderung ausliefern. Dies führt in Umgebungen mit mehreren Nutzern und mehreren GPUs zu zwei zentralen Serving-Herausforderungen: Heterogenität der Sitzungsdauer, bei der langlebige Sitzungen Platzierungsentscheidungen im Laufe der Zeit suboptimal machen, und zeitliche Heterogenität der Nutzernachfrage, bei der die Anzahl aktiver Sitzungen zwischen Lastspitzen und Leerlaufzeiten stark schwankt. Wir stellen TurboServe vor, das erste Serving-System, das speziell für Streaming-Videogenerierungs-Workloads entwickelt wurde. TurboServe formuliert Serving als ein Online-Planungsproblem, das die Sitzungsplatzierung und GPU-Bereitstellung gemeinsam koordiniert. Sein Closed-Loop-Planungsalgorithmus kombiniert einen migrationsbewussten Platzierungs-Controller, der Sitzungen über GPUs hinweg neu ausbalanciert, um die maximale Latenz pro Stück zu reduzieren, mit einem lastgesteuerten Autoscaling-Controller, der das GPU-Budget an die Workload-Variation anpasst, um die Kosteneffizienz zu verbessern. Um diese Entscheidungen zur Laufzeit zu unterstützen, implementiert TurboServe zusammengelegte Chunk-Verarbeitung für das Batching gleichzeitiger aktiver Sitzungen auf derselben GPU, GPU-CPU-Auslagerung für das Anhalten und Fortsetzen von Sitzungen sowie NCCL-basierte GPU-GPU-Migration für die Online-Neuausbalancierung. Wir evaluieren TurboServe anhand realer Produktionstraces von Shengshu Technology über mehrere Modellgrößen und GPU-Cluster mit bis zu 64 NVIDIA B300 GPUs. Im Vergleich zu Basis-Serving-Konfigurationen reduziert TurboServe die Worst-Case-Latenz pro Stück um 37,5 % und die gesamten GPU-Betriebskosten um durchschnittlich 37,2 %. Unser Code ist öffentlich verfügbar unter https://github.com/shengshu-ai/TurboServe.

English

Streaming video generation is emerging as a new serving workload in which users interact with long-lived sessions that generate video progressively, chunk by chunk. Unlike offline video generation or typical LLM serving, streaming video generation must preserve session state across active and idle periods, repeatedly schedule ongoing sessions, and deliver each chunk under a tight latency target. This creates two key serving challenges in multi-user, multi-GPU environments: session duration heterogeneity, where long-running sessions make placement decisions suboptimal over time, and temporal user-demand heterogeneity, where the number of active sessions fluctuates sharply across bursts and idle periods. We present TurboServe, the first serving system designed specifically for streaming video generation workloads. TurboServe formulates serving as an online scheduling problem that jointly coordinates session placement and GPU provisioning. Its closed-loop scheduling algorithm combines a migration-aware placement controller, which rebalances sessions across GPUs to reduce the maximum per-chunk latency, with a load-driven autoscaling controller, which adapts the GPU budget to workload variation for improved cost efficiency. To support these decisions at runtime, TurboServe implements coalesced chunk processing for batching concurrent active sessions on the same GPU, GPU-CPU offloading for session suspension and resumption, and NCCL-based GPU-GPU migration for online rebalancing. We evaluate TurboServe on real-world production traces from Shengshu Technology across multiple model sizes and GPU clusters with up to 64 NVIDIA B300 GPUs. Compared with baseline serving configurations, TurboServe reduces worst-case per-chunk latency by 37.5% and total GPU operating cost by 37.2% on average. Our code is publicly available at https://github.com/shengshu-ai/TurboServe.