Stream-DiffVSR: Niedriglatenz-fähige streamfähige Video-Super-Resolution mittels autoregressiver Diffusion
Stream-DiffVSR: Low-Latency Streamable Video Super-Resolution via Auto-Regressive Diffusion
December 29, 2025
papers.authors: Hau-Shiang Shiu, Chin-Yang Lin, Zhixiang Wang, Chi-Wei Hsiao, Po-Fan Yu, Yu-Chih Chen, Yu-Lun Liu
cs.AI
papers.abstract
Diffusionsbasierte Video-Super-Resolution (VSR)-Methoden erzielen eine hohe perzeptive Qualität, bleiben jedoch aufgrund ihrer Abhängigkeit von zukünftigen Bildern und rechenintensiver Mehrschritt-Entrauschung für latenzsensitive Anwendungen unpraktikabel. Wir schlagen Stream-DiffVSR vor, einen kausal konditionierten Diffusionsframework für effiziente Online-VSR. Die Methode, die strikt auf vergangenen Bildern operiert, kombiniert einen vierstufigen destillierten Entrauscher für schnelle Inferenz, ein Auto-regressives Temporales Guidance (ARTG)-Modul, das bewegungsausgerichtete Hinweise während der latenten Entrauschung injiziert, und einen leichtgewichtigen temporal-sensitiven Decoder mit einem Temporal Processor Module (TPM), das Detailreichtum und zeitliche Kohärenz verbessert. Stream-DiffVSR verarbeitet 720p-Bilder in 0,328 Sekunden auf einer RTX4090 GPU und übertrifft frühere diffusionsbasierte Methoden deutlich. Im Vergleich zum Online-SOTA TMP steigert es die perzeptive Qualität (LPIPS +0,095) und reduziert die Latenz um über das 130-fache. Stream-DiffVSR erreicht die niedrigste jemals für diffusionsbasierte VSR berichtete Latenz und verringert die anfängliche Verzögerung von über 4600 Sekunden auf 0,328 Sekunden, wodurch es zur ersten für den Einsatz in Low-Latency-Online-Szenarien geeigneten Diffusions-VSR-Methode wird. Projektseite: https://jamichss.github.io/stream-diffvsr-project-page/
English
Diffusion-based video super-resolution (VSR) methods achieve strong perceptual quality but remain impractical for latency-sensitive settings due to reliance on future frames and expensive multi-step denoising. We propose Stream-DiffVSR, a causally conditioned diffusion framework for efficient online VSR. Operating strictly on past frames, it combines a four-step distilled denoiser for fast inference, an Auto-regressive Temporal Guidance (ARTG) module that injects motion-aligned cues during latent denoising, and a lightweight temporal-aware decoder with a Temporal Processor Module (TPM) that enhances detail and temporal coherence. Stream-DiffVSR processes 720p frames in 0.328 seconds on an RTX4090 GPU and significantly outperforms prior diffusion-based methods. Compared with the online SOTA TMP, it boosts perceptual quality (LPIPS +0.095) while reducing latency by over 130x. Stream-DiffVSR achieves the lowest latency reported for diffusion-based VSR, reducing initial delay from over 4600 seconds to 0.328 seconds, thereby making it the first diffusion VSR method suitable for low-latency online deployment. Project page: https://jamichss.github.io/stream-diffvsr-project-page/