Stream-DiffVSR: Низколатентное потоковое повышение разрешения видео на основе авторегрессивной диффузии

Stream-DiffVSR: Low-Latency Streamable Video Super-Resolution via Auto-Regressive Diffusion

December 29, 2025

Авторы: Hau-Shiang Shiu, Chin-Yang Lin, Zhixiang Wang, Chi-Wei Hsiao, Po-Fan Yu, Yu-Chih Chen, Yu-Lun Liu

cs.AI

Аннотация

Методы сверхразрешения видео на основе диффузии (VSR) демонстрируют высокое перцептивное качество, но остаются непрактичными для сценариев, чувствительных к задержкам, из-за зависимости от будущих кадров и ресурсоемкого многошагового шумоподавления. Мы предлагаем Stream-DiffVSR — каузально-условную диффузионную框架 для эффективного онлайн VSR. Работая строго на прошлых кадрах, метод объединяет четырехшаговый дистиллированный денойзер для быстрого вывода, модуль авторегрессионного временного guidance (ARTG), который инжектирует выровненные по движению подсказки во время латентного шумоподавления, и облегченный временно-осознающий декодер с модулем временной обработки (TPM), улучшающий детализацию и временную согласованность. Stream-DiffVSR обрабатывает кадры 720p за 0.328 секунды на GPU RTX4090 и значительно превосходит предыдущие диффузионные методы. По сравнению с онлайн SOTA TMP, метод улучшает перцептивное качество (LPIPS +0.095), одновременно снижая задержку более чем в 130 раз. Stream-DiffVSR демонстрирует наименьшую задержку среди заявленных для диффузионного VSR, сокращая начальную задержку с более чем 4600 секунд до 0.328 секунды, что делает его первым диффузионным методом VSR, пригодным для низколатентного онлайн-развертывания. Страница проекта: https://jamichss.github.io/stream-diffvsr-project-page/

English

Diffusion-based video super-resolution (VSR) methods achieve strong perceptual quality but remain impractical for latency-sensitive settings due to reliance on future frames and expensive multi-step denoising. We propose Stream-DiffVSR, a causally conditioned diffusion framework for efficient online VSR. Operating strictly on past frames, it combines a four-step distilled denoiser for fast inference, an Auto-regressive Temporal Guidance (ARTG) module that injects motion-aligned cues during latent denoising, and a lightweight temporal-aware decoder with a Temporal Processor Module (TPM) that enhances detail and temporal coherence. Stream-DiffVSR processes 720p frames in 0.328 seconds on an RTX4090 GPU and significantly outperforms prior diffusion-based methods. Compared with the online SOTA TMP, it boosts perceptual quality (LPIPS +0.095) while reducing latency by over 130x. Stream-DiffVSR achieves the lowest latency reported for diffusion-based VSR, reducing initial delay from over 4600 seconds to 0.328 seconds, thereby making it the first diffusion VSR method suitable for low-latency online deployment. Project page: https://jamichss.github.io/stream-diffvsr-project-page/