TurboServe: 효율적이고 경제적인 스트리밍 비디오 생성 서비스

초록

스트리밍 비디오 생성은 사용자가 청크 단위로 비디오를 점진적으로 생성하는 장기 지속 세션과 상호작용하는 새로운 서빙 워크로드로 부상하고 있다. 오프라인 비디오 생성이나 일반적인 LLM 서빙과 달리, 스트리밍 비디오 생성은 활성 및 유휴 기간 동안 세션 상태를 유지하고, 진행 중인 세션을 반복적으로 스케줄링하며, 각 청크를 엄격한 지연 시간 목표 내에 전달해야 한다. 이는 다중 사용자, 다중 GPU 환경에서 두 가지 주요 서빙 과제를 야기한다: 장기 실행 세션이 시간이 지남에 따라 배치 결정을 최적이 아닌 상태로 만드는 세션 지속 시간 이질성과, 버스트 및 유휴 기간에 걸쳐 활성 세션 수가 급격히 변동하는 시간적 사용자 수요 이질성이다. 본 논문에서는 스트리밍 비디오 생성 워크로드를 위해 특별히 설계된 최초의 서빙 시스템인 TurboServe를 제안한다. TurboServe는 서빙을 세션 배치와 GPU 프로비저닝을 공동으로 조정하는 온라인 스케줄링 문제로 정식화한다. 자체 폐루프 스케줄링 알고리즘은 청크당 최대 지연 시간을 줄이기 위해 GPU 간에 세션을 재균형화하는 마이그레이션 인식 배치 컨트롤러와, 비용 효율성 향상을 위해 워크로드 변화에 맞춰 GPU 예산을 조정하는 부하 기반 자동 확장 컨트롤러를 결합한다. 이러한 결정을 런타임에 지원하기 위해 TurboServe는 동일 GPU 상의 동시 활성 세션을 배칭하기 위한 병합 청크 처리, 세션 일시 중단 및 재개를 위한 GPU-CPU 오프로딩, 온라인 재균형화를 위한 NCCL 기반 GPU-GPU 마이그레이션을 구현한다. 우리는 생슈 테크놀로지의 실제 운영 환경 트레이스를 기반으로 다양한 모델 크기와 최대 64개의 NVIDIA B300 GPU로 구성된 GPU 클러스터에서 TurboServe를 평가한다. 기준 서빙 구성과 비교하여 TurboServe는 청크당 최악의 지연 시간을 평균 37.5%, 총 GPU 운영 비용을 평균 37.2% 감소시킨다. 코드는 https://github.com/shengshu-ai/TurboServe에서 공개적으로 이용 가능하다.

English

Streaming video generation is emerging as a new serving workload in which users interact with long-lived sessions that generate video progressively, chunk by chunk. Unlike offline video generation or typical LLM serving, streaming video generation must preserve session state across active and idle periods, repeatedly schedule ongoing sessions, and deliver each chunk under a tight latency target. This creates two key serving challenges in multi-user, multi-GPU environments: session duration heterogeneity, where long-running sessions make placement decisions suboptimal over time, and temporal user-demand heterogeneity, where the number of active sessions fluctuates sharply across bursts and idle periods. We present TurboServe, the first serving system designed specifically for streaming video generation workloads. TurboServe formulates serving as an online scheduling problem that jointly coordinates session placement and GPU provisioning. Its closed-loop scheduling algorithm combines a migration-aware placement controller, which rebalances sessions across GPUs to reduce the maximum per-chunk latency, with a load-driven autoscaling controller, which adapts the GPU budget to workload variation for improved cost efficiency. To support these decisions at runtime, TurboServe implements coalesced chunk processing for batching concurrent active sessions on the same GPU, GPU-CPU offloading for session suspension and resumption, and NCCL-based GPU-GPU migration for online rebalancing. We evaluate TurboServe on real-world production traces from Shengshu Technology across multiple model sizes and GPU clusters with up to 64 NVIDIA B300 GPUs. Compared with baseline serving configurations, TurboServe reduces worst-case per-chunk latency by 37.5% and total GPU operating cost by 37.2% on average. Our code is publicly available at https://github.com/shengshu-ai/TurboServe.