SimpleGVR: Простой базовый подход для каскадной сверхразрешающей обработки видео в скрытом пространстве

Аннотация

Латентные диффузионные модели стали ведущей парадигмой для эффективной генерации видео. Однако, по мере того как ожидания пользователей смещаются в сторону более высокого разрешения, использование исключительно латентных вычислений становится недостаточным. Перспективный подход заключается в разделении процесса на два этапа: генерация семантического содержания и синтез деталей. Первый этап использует вычислительно интенсивную базовую модель на низких разрешениях, тогда как второй применяет легковесную каскадную модель супер-разрешения видео (VSR) для достижения высокого разрешения. В данной работе мы сосредоточились на изучении ключевых принципов проектирования каскадных моделей VSR, которые в настоящее время недостаточно исследованы. Во-первых, мы предлагаем две стратегии деградации для создания обучающих пар, которые лучше имитируют характеристики выходных данных базовой модели, обеспечивая согласованность между моделью VSR и её вышестоящим генератором. Во-вторых, мы предоставляем важные инсайты о поведении модели VSR через систематический анализ (1) стратегий выборки временных шагов, (2) эффектов шумового усиления на входных данных низкого разрешения (LR). Эти выводы напрямую информируют наши архитектурные и обучающие инновации. Наконец, мы вводим чередующиеся временные блоки и разреженное локальное внимание для достижения эффективного обучения и вывода, значительно сокращая вычислительные затраты. Многочисленные эксперименты демонстрируют превосходство нашей структуры над существующими методами, а исследования с исключением подтверждают эффективность каждого выбора дизайна. Наша работа устанавливает простую, но эффективную базовую линию для каскадной генерации супер-разрешения видео, предлагая практические инсайты для руководства будущими достижениями в эффективных каскадных системах синтеза.

English

Latent diffusion models have emerged as a leading paradigm for efficient video generation. However, as user expectations shift toward higher-resolution outputs, relying solely on latent computation becomes inadequate. A promising approach involves decoupling the process into two stages: semantic content generation and detail synthesis. The former employs a computationally intensive base model at lower resolutions, while the latter leverages a lightweight cascaded video super-resolution (VSR) model to achieve high-resolution output. In this work, we focus on studying key design principles for latter cascaded VSR models, which are underexplored currently. First, we propose two degradation strategies to generate training pairs that better mimic the output characteristics of the base model, ensuring alignment between the VSR model and its upstream generator. Second, we provide critical insights into VSR model behavior through systematic analysis of (1) timestep sampling strategies, (2) noise augmentation effects on low-resolution (LR) inputs. These findings directly inform our architectural and training innovations. Finally, we introduce interleaving temporal unit and sparse local attention to achieve efficient training and inference, drastically reducing computational overhead. Extensive experiments demonstrate the superiority of our framework over existing methods, with ablation studies confirming the efficacy of each design choice. Our work establishes a simple yet effective baseline for cascaded video super-resolution generation, offering practical insights to guide future advancements in efficient cascaded synthesis systems.

SimpleGVR: Простой базовый подход для каскадной сверхразрешающей обработки видео в скрытом пространстве

SimpleGVR: A Simple Baseline for Latent-Cascaded Video Super-Resolution

Аннотация

Support