TurboServe: Servicio eficiente y económico de generación de video en streaming

Resumen

La generación de video en streaming está surgiendo como una nueva carga de trabajo de servicio en la que los usuarios interactúan con sesiones de larga duración que generan video progresivamente, fragmento por fragmento. A diferencia de la generación de video offline o el servicio típico de LLM, la generación de video en streaming debe preservar el estado de la sesión durante períodos activos e inactivos, reprogramar sesiones en curso de forma repetida y entregar cada fragmento bajo un estricto objetivo de latencia. Esto plantea dos desafíos clave en el servicio multiusuario en entornos con múltiples GPU: la heterogeneidad en la duración de las sesiones, donde las sesiones de larga duración hacen que las decisiones de colocación se vuelvan subóptimas con el tiempo, y la heterogeneidad temporal en la demanda de usuarios, donde el número de sesiones activas fluctúa abruptamente entre ráfagas y períodos de inactividad. Presentamos TurboServe, el primer sistema de servicio diseñado específicamente para cargas de trabajo de generación de video en streaming. TurboServe formula el servicio como un problema de planificación en línea que coordina conjuntamente la colocación de sesiones y el aprovisionamiento de GPU. Su algoritmo de planificación en bucle cerrado combina un controlador de colocación sensible a la migración, que reequilibra las sesiones entre las GPU para reducir la latencia máxima por fragmento, con un controlador de autoescalado basado en la carga, que adapta el presupuesto de GPU a la variación de la carga de trabajo para mejorar la eficiencia de costos. Para respaldar estas decisiones en tiempo de ejecución, TurboServe implementa procesamiento de fragmentos fusionados para la ejecución por lotes de sesiones activas concurrentes en la misma GPU, descarga GPU-CPU para la suspensión y reanudación de sesiones, y migración GPU-GPU basada en NCCL para el reequilibrio en línea. Evaluamos TurboServe con trazas de producción reales de Shengshu Technology en múltiples tamaños de modelo y clústeres de GPU con hasta 64 GPU NVIDIA B300. En comparación con configuraciones de servicio de referencia, TurboServe reduce la latencia máxima por fragmento en un 37.5% y el costo operativo total de GPU en un 37.2% en promedio. Nuestro código está disponible públicamente en https://github.com/shengshu-ai/TurboServe.

English

Streaming video generation is emerging as a new serving workload in which users interact with long-lived sessions that generate video progressively, chunk by chunk. Unlike offline video generation or typical LLM serving, streaming video generation must preserve session state across active and idle periods, repeatedly schedule ongoing sessions, and deliver each chunk under a tight latency target. This creates two key serving challenges in multi-user, multi-GPU environments: session duration heterogeneity, where long-running sessions make placement decisions suboptimal over time, and temporal user-demand heterogeneity, where the number of active sessions fluctuates sharply across bursts and idle periods. We present TurboServe, the first serving system designed specifically for streaming video generation workloads. TurboServe formulates serving as an online scheduling problem that jointly coordinates session placement and GPU provisioning. Its closed-loop scheduling algorithm combines a migration-aware placement controller, which rebalances sessions across GPUs to reduce the maximum per-chunk latency, with a load-driven autoscaling controller, which adapts the GPU budget to workload variation for improved cost efficiency. To support these decisions at runtime, TurboServe implements coalesced chunk processing for batching concurrent active sessions on the same GPU, GPU-CPU offloading for session suspension and resumption, and NCCL-based GPU-GPU migration for online rebalancing. We evaluate TurboServe on real-world production traces from Shengshu Technology across multiple model sizes and GPU clusters with up to 64 NVIDIA B300 GPUs. Compared with baseline serving configurations, TurboServe reduces worst-case per-chunk latency by 37.5% and total GPU operating cost by 37.2% on average. Our code is publicly available at https://github.com/shengshu-ai/TurboServe.