SANA-Streaming: Edición de Video en Streaming en Tiempo Real con Transformador Híbrido de Difusión

Resumen

La edición de video a video (V2V) en streaming en tiempo real es fundamental para aplicaciones interactivas como la transmisión en vivo y los videojuegos, pero sigue siendo un desafío formidable debido a los estrictos requisitos de consistencia temporal y rendimiento de inferencia. En este artículo, presentamos SANA-Streaming, un marco de trabajo co-diseñado sistema-algoritmo para la edición de video en streaming en tiempo real de alta resolución en GPUs de consumo, con los siguientes tres diseños principales: (1) La arquitectura Hybrid Diffusion Transformer introduce atención softmax en parte de los bloques para mejorar las capacidades de modelado local mientras preserva la eficiencia de las capas lineales. (2) Cycle-Reverse Regularization es una estrategia de entrenamiento novedosa que impone consistencia semántica al predecir fotogramas fuente a partir del contenido generado mediante flow matching, mejorando la consistencia temporal sin requerir videos editados largos emparejados. (3) El co-diseño eficiente del sistema combina kernels GDN fusionados y cuantización de precisión mixta (MPQ) optimizados para la arquitectura NVIDIA Blackwell (RTX 5090). Al perfilar el rendimiento en el mundo real, nuestro MPQ maximiza la utilización de los Tensor Cores mientras mantiene la calidad de generación. El sistema resultante logra una edición en tiempo real con resolución 1280 x 704 a 24 FPS de extremo a extremo en una sola GPU RTX 5090, con el núcleo DiT funcionando a 58 FPS. Los resultados experimentales demuestran que nuestro enfoque de co-diseño supera significativamente a los métodos SOTA existentes tanto en coherencia temporal como en rendimiento del sistema.

English

Real-time streaming video-to-video editing (V2V) is critical for interactive applications such as live broadcasting and gaming, yet it remains a formidable challenge due to the stringent requirements for temporal consistency and inference throughput. In this paper, we present SANA-Streaming, a system-algorithm co-designed framework for high-resolution, real-time streaming video editing on consumer GPUs, with the following three core designs: (1) Hybrid Diffusion Transformer architecture introduces softmax attention in part of the blocks to improve local modeling capabilities while preserving the efficiency of linear layers. (2) Cycle-Reverse Regularization is a novel training strategy that enforces semantic consistency by predicting source frames from generated content via flow matching, improving temporal consistency without requiring paired long edited videos. (3) Efficient System Co-design combines fused GDN kernels and Mixed-Precision Quantization (MPQ) optimized for the NVIDIA Blackwell (RTX 5090) architecture. By profiling real-world throughput, our MPQ maximizes Tensor Core utilization while maintaining generation quality. The resulting system achieves real-time 1280 x 704 resolution editing at 24 end-to-end FPS on a single RTX 5090 GPU, with the DiT core running at 58 FPS. Experimental results demonstrate that our co-design approach significantly outperforms existing SOTA methods in both temporal coherence and system throughput.