Stream-DiffVSR: 자동 회귀 확산을 통한 저지연 스트리밍 가능 비디오 초해상도

초록

확산 기반 비디오 초해상도(VSR) 방법은 높은 인식적 화질을 달성하지만 미래 프레임에 대한 의존성과 고비용의 다단계 잡음 제거로 인해 지연 시간에 민감한 환경에서는 실용적이지 못하다. 본 연구에서는 효율적인 온라인 VSR을 위한 인과적 조건부 확산 프레임워크인 Stream-DiffVSR을 제안한다. 과거 프레임만을 엄격히 활용하는 이 방법은 빠른 추론을 위한 4단계 증류 잡음 제거기, 잠재 공간 잡음 제거 중 운동 정렬 정보를 주입하는 자기회귀 시간 안내(ARTG) 모듈, 그리고 디테일과 시간적 일관성을 향상시키는 경량 시간 인식 디코더(TPM)를 결합했다. Stream-DiffVSR은 RTX4090 GPU에서 720p 프레임을 0.328초에 처리하며 기존 확산 기반 방법을 크게 능가한다. 온라인 SOTA인 TMP 대비 인식적 화질(LPIPS +0.095)을 향상시키면서 지연 시간을 130배 이상 감소시켰다. Stream-DiffVSR은 확산 기반 VSR 중 최저 지연 시간을 기록하며 초기 지연을 4600초 이상에서 0.328초로 단축함으로써 저지연 온라인 배치에 적합한 최초의 확산 VSR 방법이 되었다. 프로젝트 페이지: https://jamichss.github.io/stream-diffvsr-project-page/

English

Diffusion-based video super-resolution (VSR) methods achieve strong perceptual quality but remain impractical for latency-sensitive settings due to reliance on future frames and expensive multi-step denoising. We propose Stream-DiffVSR, a causally conditioned diffusion framework for efficient online VSR. Operating strictly on past frames, it combines a four-step distilled denoiser for fast inference, an Auto-regressive Temporal Guidance (ARTG) module that injects motion-aligned cues during latent denoising, and a lightweight temporal-aware decoder with a Temporal Processor Module (TPM) that enhances detail and temporal coherence. Stream-DiffVSR processes 720p frames in 0.328 seconds on an RTX4090 GPU and significantly outperforms prior diffusion-based methods. Compared with the online SOTA TMP, it boosts perceptual quality (LPIPS +0.095) while reducing latency by over 130x. Stream-DiffVSR achieves the lowest latency reported for diffusion-based VSR, reducing initial delay from over 4600 seconds to 0.328 seconds, thereby making it the first diffusion VSR method suitable for low-latency online deployment. Project page: https://jamichss.github.io/stream-diffvsr-project-page/

Stream-DiffVSR: 자동 회귀 확산을 통한 저지연 스트리밍 가능 비디오 초해상도

Stream-DiffVSR: Low-Latency Streamable Video Super-Resolution via Auto-Regressive Diffusion

초록

Support