TurboServe : Servir la génération de vidéos en streaming de manière efficace et économique

Résumé

La génération de vidéo en streaming émerge comme une nouvelle charge de travail de service dans laquelle les utilisateurs interagissent avec des sessions de longue durée qui génèrent de la vidéo progressivement, morceau par morceau. Contrairement à la génération de vidéo hors ligne ou au service typique de LLM, la génération de vidéo en streaming doit préserver l'état de la session pendant les périodes actives et inactives, réordonnancer de manière répétée les sessions en cours, et livrer chaque morceau dans un délai de latence strict. Cela crée deux défis clés de service dans les environnements multi-utilisateurs et multi-GPU : l'hétérogénéité de la durée des sessions, où les sessions de longue durée rendent les décisions de placement sous-optimales au fil du temps, et l'hétérogénéité temporelle de la demande des utilisateurs, où le nombre de sessions actives fluctue fortement entre les pics et les périodes d'inactivité. Nous présentons TurboServe, le premier système de service conçu spécifiquement pour les charges de travail de génération de vidéo en streaming. TurboServe formule le service comme un problème d'ordonnancement en ligne qui coordonne conjointement le placement des sessions et l'allocation des GPU. Son algorithme d'ordonnancement en boucle fermée combine un contrôleur de placement sensible à la migration, qui rééquilibre les sessions entre les GPU pour réduire la latence maximale par morceau, avec un contrôleur d'auto-ajustement piloté par la charge, qui adapte le budget GPU aux variations de la charge de travail pour améliorer l'efficacité des coûts. Pour soutenir ces décisions en cours d'exécution, TurboServe implémente un traitement coalescé des morceaux pour le batching des sessions actives concurrentes sur le même GPU, un déchargement GPU-CPU pour la suspension et la reprise des sessions, et une migration GPU-GPU basée sur NCCL pour le rééquilibrage en ligne. Nous évaluons TurboServe sur des traces de production réelles de Shengshu Technology pour plusieurs tailles de modèles et clusters GPU avec jusqu'à 64 GPU NVIDIA B300. Comparé aux configurations de service de référence, TurboServe réduit la latence maximale par morceau de 37,5 % et le coût total d'exploitation GPU de 37,2 % en moyenne. Notre code est disponible publiquement à l'adresse https://github.com/shengshu-ai/TurboServe.

English

Streaming video generation is emerging as a new serving workload in which users interact with long-lived sessions that generate video progressively, chunk by chunk. Unlike offline video generation or typical LLM serving, streaming video generation must preserve session state across active and idle periods, repeatedly schedule ongoing sessions, and deliver each chunk under a tight latency target. This creates two key serving challenges in multi-user, multi-GPU environments: session duration heterogeneity, where long-running sessions make placement decisions suboptimal over time, and temporal user-demand heterogeneity, where the number of active sessions fluctuates sharply across bursts and idle periods. We present TurboServe, the first serving system designed specifically for streaming video generation workloads. TurboServe formulates serving as an online scheduling problem that jointly coordinates session placement and GPU provisioning. Its closed-loop scheduling algorithm combines a migration-aware placement controller, which rebalances sessions across GPUs to reduce the maximum per-chunk latency, with a load-driven autoscaling controller, which adapts the GPU budget to workload variation for improved cost efficiency. To support these decisions at runtime, TurboServe implements coalesced chunk processing for batching concurrent active sessions on the same GPU, GPU-CPU offloading for session suspension and resumption, and NCCL-based GPU-GPU migration for online rebalancing. We evaluate TurboServe on real-world production traces from Shengshu Technology across multiple model sizes and GPU clusters with up to 64 NVIDIA B300 GPUs. Compared with baseline serving configurations, TurboServe reduces worst-case per-chunk latency by 37.5% and total GPU operating cost by 37.2% on average. Our code is publicly available at https://github.com/shengshu-ai/TurboServe.