SANA-Streaming: real-time streaming videobewerking met hybride diffusietransformer

Samenvatting

Real-time streaming video-naar-video bewerking (V2V) is cruciaal voor interactieve toepassingen zoals live uitzendingen en gaming, maar het blijft een geduchte uitdaging vanwege de strenge vereisten voor temporele consistentie en inferentiedoorvoer. In dit artikel presenteren we SANA-Streaming, een systeem-algoritme co-ontworpen raamwerk voor hoge-resolutie, real-time streaming videobewerking op consumenten-GPU's, met de volgende drie kerontwerpen: (1) Hybride Diffusie Transformer architectuur introduceert softmax aandacht in een deel van de blokken om de lokale modelleringscapaciteiten te verbeteren terwijl de efficiëntie van lineaire lagen behouden blijft. (2) Cycle-Reverse Regularization is een nieuwe trainingsstrategie die semantische consistentie afdwingt door bronframes te voorspellen uit gegenereerde inhoud via flow matching, wat de temporele consistentie verbetert zonder dat er gepaarde lange bewerkte video's nodig zijn. (3) Efficiënt systeem co-ontwerp combineert gefuseerde GDN-kernels en Mixed-Precision Quantization (MPQ) geoptimaliseerd voor de NVIDIA Blackwell (RTX 5090) architectuur. Door het profileren van de werkelijke doorvoer maximaliseert onze MPQ het Tensor Core-gebruik terwijl de generatiekwaliteit behouden blijft. Het resulterende systeem behaalt real-time 1280 x 704 resolutie bewerking bij 24 end-to-end FPS op een enkele RTX 5090 GPU, met de DiT-kern die op 58 FPS draait. Experimentele resultaten tonen aan dat onze co-ontwerp aanpak significant beter presteert dan bestaande SOTA-methoden in zowel temporele coherentie als systeemdoorvoer.

English

Real-time streaming video-to-video editing (V2V) is critical for interactive applications such as live broadcasting and gaming, yet it remains a formidable challenge due to the stringent requirements for temporal consistency and inference throughput. In this paper, we present SANA-Streaming, a system-algorithm co-designed framework for high-resolution, real-time streaming video editing on consumer GPUs, with the following three core designs: (1) Hybrid Diffusion Transformer architecture introduces softmax attention in part of the blocks to improve local modeling capabilities while preserving the efficiency of linear layers. (2) Cycle-Reverse Regularization is a novel training strategy that enforces semantic consistency by predicting source frames from generated content via flow matching, improving temporal consistency without requiring paired long edited videos. (3) Efficient System Co-design combines fused GDN kernels and Mixed-Precision Quantization (MPQ) optimized for the NVIDIA Blackwell (RTX 5090) architecture. By profiling real-world throughput, our MPQ maximizes Tensor Core utilization while maintaining generation quality. The resulting system achieves real-time 1280 x 704 resolution editing at 24 end-to-end FPS on a single RTX 5090 GPU, with the DiT core running at 58 FPS. Experimental results demonstrate that our co-design approach significantly outperforms existing SOTA methods in both temporal coherence and system throughput.