TurboServe: эффективное и экономичное обслуживание потоковой генерации видео

Аннотация

Потоковая генерация видео становится новой рабочей нагрузкой, при которой пользователи взаимодействуют с долгоживущими сеансами, генерирующими видео прогрессивно, чанк за чанком. В отличие от автономной генерации видео или типичного обслуживания LLM, потоковая генерация видео должна сохранять состояние сеанса как в активные, так и в простой периоды, многократно планировать выполняющиеся сеансы и доставлять каждый чанк с жесткими требованиями к задержке. Это создает две ключевые проблемы обслуживания в многопользовательских многопроцессорных средах GPU: гетерогенность длительности сеансов, при которой длительные сеансы со временем делают решения о размещении неоптимальными, и временная гетерогенность пользовательского спроса, при которой количество активных сеансов резко колеблется между пиками нагрузки и простоями. Мы представляем TurboServe — первую систему обслуживания, специально разработанную для рабочих нагрузок потоковой генерации видео. TurboServe формулирует обслуживание как задачу онлайн-планирования, которая совместно координирует размещение сеансов и выделение GPU. Его алгоритм планирования с обратной связью объединяет контроллер размещения с учетом миграции, который перераспределяет сеансы между GPU для снижения максимальной задержки на чанк, и контроллер автоматического масштабирования на основе нагрузки, который адаптирует бюджет GPU к изменениям рабочей нагрузки для повышения экономической эффективности. Для поддержки этих решений во время выполнения TurboServe реализует объединенную обработку чанков для пакетирования одновременных активных сеансов на одном GPU, выгрузку GPU-CPU для приостановки и возобновления сеансов, а также миграцию между GPU на основе NCCL для онлайн-перебалансировки. Мы оцениваем TurboServe на реальных производственных трассах компании Shengshu Technology для нескольких размеров моделей и кластеров GPU с до 64 NVIDIA B300 GPU. По сравнению с базовыми конфигурациями обслуживания, TurboServe в среднем снижает худшую задержку на чанк на 37,5% и общую стоимость эксплуатации GPU на 37,2%. Наш код доступен публично по адресу https://github.com/shengshu-ai/TurboServe.

English

Streaming video generation is emerging as a new serving workload in which users interact with long-lived sessions that generate video progressively, chunk by chunk. Unlike offline video generation or typical LLM serving, streaming video generation must preserve session state across active and idle periods, repeatedly schedule ongoing sessions, and deliver each chunk under a tight latency target. This creates two key serving challenges in multi-user, multi-GPU environments: session duration heterogeneity, where long-running sessions make placement decisions suboptimal over time, and temporal user-demand heterogeneity, where the number of active sessions fluctuates sharply across bursts and idle periods. We present TurboServe, the first serving system designed specifically for streaming video generation workloads. TurboServe formulates serving as an online scheduling problem that jointly coordinates session placement and GPU provisioning. Its closed-loop scheduling algorithm combines a migration-aware placement controller, which rebalances sessions across GPUs to reduce the maximum per-chunk latency, with a load-driven autoscaling controller, which adapts the GPU budget to workload variation for improved cost efficiency. To support these decisions at runtime, TurboServe implements coalesced chunk processing for batching concurrent active sessions on the same GPU, GPU-CPU offloading for session suspension and resumption, and NCCL-based GPU-GPU migration for online rebalancing. We evaluate TurboServe on real-world production traces from Shengshu Technology across multiple model sizes and GPU clusters with up to 64 NVIDIA B300 GPUs. Compared with baseline serving configurations, TurboServe reduces worst-case per-chunk latency by 37.5% and total GPU operating cost by 37.2% on average. Our code is publicly available at https://github.com/shengshu-ai/TurboServe.