SANA-Streaming: Echtzeit-Streaming-Videobearbeitung mit Hybrid-Diffusionstransformer

Zusammenfassung

Echtzeit-Streaming-Video-zu-Video-Bearbeitung (V2V) ist für interaktive Anwendungen wie Live-Übertragungen und Spiele von entscheidender Bedeutung, bleibt jedoch aufgrund der strengen Anforderungen an zeitliche Konsistenz und Inferenzdurchsatz eine große Herausforderung. In diesem Paper präsentieren wir SANA-Streaming, ein System-Algorithmus-co-designtes Framework für hochauflösende, echtzeitfähige Streaming-Videobearbeitung auf Consumer-GPUs mit den folgenden drei Kernentwürfen: (1) Die Hybrid-Diffusion-Transformer-Architektur führt in einem Teil der Blöcke Softmax-Aufmerksamkeit ein, um die lokale Modellierungsfähigkeit zu verbessern, während die Effizienz der linearen Schichten erhalten bleibt. (2) Cycle-Reverse-Regularisierung ist eine neuartige Trainingsstrategie, die semantische Konsistenz erzwingt, indem sie Quellframes aus generierten Inhalten mittels Flow Matching vorhersagt und so die zeitliche Konsistenz verbessert, ohne dass gepaarte lange bearbeitete Videos erforderlich sind. (3) Effizientes System-Co-Design kombiniert fusionierte GDN-Kernel und Mixed-Precision-Quantisierung (MPQ), optimiert für die NVIDIA-Blackwell-Architektur (RTX 5090). Durch Profiling des realen Durchsatzes maximiert unsere MPQ die Tensor-Core-Auslastung bei gleichbleibender Generierungsqualität. Das resultierende System erreicht eine Echtzeitbearbeitung mit 1280 x 704 Pixeln Auflösung bei 24 End-to-End-FPS auf einer einzelnen RTX 5090 GPU, wobei der DiT-Kern mit 58 FPS läuft. Experimentelle Ergebnisse zeigen, dass unser Co-Design-Ansatz sowohl in der zeitlichen Kohärenz als auch im Systemdurchsatz deutlich besser abschneidet als bestehende SOTA-Methoden.

English

Real-time streaming video-to-video editing (V2V) is critical for interactive applications such as live broadcasting and gaming, yet it remains a formidable challenge due to the stringent requirements for temporal consistency and inference throughput. In this paper, we present SANA-Streaming, a system-algorithm co-designed framework for high-resolution, real-time streaming video editing on consumer GPUs, with the following three core designs: (1) Hybrid Diffusion Transformer architecture introduces softmax attention in part of the blocks to improve local modeling capabilities while preserving the efficiency of linear layers. (2) Cycle-Reverse Regularization is a novel training strategy that enforces semantic consistency by predicting source frames from generated content via flow matching, improving temporal consistency without requiring paired long edited videos. (3) Efficient System Co-design combines fused GDN kernels and Mixed-Precision Quantization (MPQ) optimized for the NVIDIA Blackwell (RTX 5090) architecture. By profiling real-world throughput, our MPQ maximizes Tensor Core utilization while maintaining generation quality. The resulting system achieves real-time 1280 x 704 resolution editing at 24 end-to-end FPS on a single RTX 5090 GPU, with the DiT core running at 58 FPS. Experimental results demonstrate that our co-design approach significantly outperforms existing SOTA methods in both temporal coherence and system throughput.