SANA-Streaming: 하이브리드 확산 트랜스포머를 이용한 실시간 스트리밍 비디오 편집

초록

실시간 스트리밍 비디오-투-비디오 편집(V2V)은 라이브 방송 및 게임과 같은 대화형 애플리케이션에 필수적이지만, 시간적 일관성과 추론 처리량에 대한 엄격한 요구사항으로 인해 여전히 해결하기 어려운 과제로 남아 있습니다. 본 논문에서는 소비자용 GPU에서 고해상도 실시간 스트리밍 비디오 편집을 위한 시스템-알고리즘 공동 설계 프레임워크인 SANA-Streaming을 제시하며, 다음과 같은 세 가지 핵심 설계를 포함합니다: (1) 하이브리드 확산 트랜스포머(Hybrid Diffusion Transformer) 아키텍처는 일부 블록에 소프트맥스 어텐션을 도입하여 선형 레이어의 효율성을 유지하면서 국부적 모델링 능력을 향상시킵니다. (2) 사이클-리버스 정규화(Cycle-Reverse Regularization)는 플로우 매칭을 통해 생성된 콘텐츠로부터 소스 프레임을 예측함으로써 의미적 일관성을 강제하는 새로운 훈련 전략으로, 쌍을 이루는 긴 편집 비디오 없이도 시간적 일관성을 개선합니다. (3) 효율적인 시스템 공동 설계는 NVIDIA Blackwell(RTX 5090) 아키텍처에 최적화된 융합 GDN 커널 및 혼합 정밀도 양자화(MPQ)를 결합합니다. 실제 처리량을 프로파일링함으로써, 당사의 MPQ는 생성 품질을 유지하면서 텐서 코어 활용도를 극대화합니다. 결과 시스템은 단일 RTX 5090 GPU에서 종단 간 24 FPS로 1280x704 해상도 편집을 실시간으로 달성하며, DiT 코어는 58 FPS로 동작합니다. 실험 결과는 당사의 공동 설계 접근 방식이 시간적 일관성과 시스템 처리량 모두에서 기존의 최첨단 방법을 크게 능가함을 보여줍니다.

English

Real-time streaming video-to-video editing (V2V) is critical for interactive applications such as live broadcasting and gaming, yet it remains a formidable challenge due to the stringent requirements for temporal consistency and inference throughput. In this paper, we present SANA-Streaming, a system-algorithm co-designed framework for high-resolution, real-time streaming video editing on consumer GPUs, with the following three core designs: (1) Hybrid Diffusion Transformer architecture introduces softmax attention in part of the blocks to improve local modeling capabilities while preserving the efficiency of linear layers. (2) Cycle-Reverse Regularization is a novel training strategy that enforces semantic consistency by predicting source frames from generated content via flow matching, improving temporal consistency without requiring paired long edited videos. (3) Efficient System Co-design combines fused GDN kernels and Mixed-Precision Quantization (MPQ) optimized for the NVIDIA Blackwell (RTX 5090) architecture. By profiling real-world throughput, our MPQ maximizes Tensor Core utilization while maintaining generation quality. The resulting system achieves real-time 1280 x 704 resolution editing at 24 end-to-end FPS on a single RTX 5090 GPU, with the DiT core running at 58 FPS. Experimental results demonstrate that our co-design approach significantly outperforms existing SOTA methods in both temporal coherence and system throughput.