SimpleGVR: Una Baseline Semplice per la Super-Risoluzione Video a Cascata Latente

Abstract

I modelli di diffusione latente sono emersi come un paradigma leader per la generazione efficiente di video. Tuttavia, con l'evoluzione delle aspettative degli utenti verso output ad alta risoluzione, fare affidamento esclusivamente sul calcolo latente risulta inadeguato. Un approccio promettente prevede di scomporre il processo in due fasi: generazione del contenuto semantico e sintesi dei dettagli. La prima impiega un modello base computazionalmente intensivo a risoluzioni inferiori, mentre la seconda sfrutta un modello leggero di super-risoluzione video (VSR) a cascata per ottenere un output ad alta risoluzione. In questo lavoro, ci concentriamo sullo studio dei principi chiave di progettazione per i modelli VSR a cascata, attualmente poco esplorati. In primo luogo, proponiamo due strategie di degradazione per generare coppie di addestramento che mimano meglio le caratteristiche di output del modello base, garantendo l'allineamento tra il modello VSR e il generatore a monte. In secondo luogo, forniamo approfondimenti critici sul comportamento del modello VSR attraverso un'analisi sistematica di (1) strategie di campionamento dei tempi e (2) effetti dell'aumentazione del rumore sugli input a bassa risoluzione (LR). Questi risultati informano direttamente le nostre innovazioni architetturali e di addestramento. Infine, introduciamo l'unità temporale intercalata e l'attenzione locale sparsa per ottenere un addestramento e un'inferenza efficienti, riducendo drasticamente il sovraccarico computazionale. Esperimenti estensivi dimostrano la superiorità del nostro framework rispetto ai metodi esistenti, con studi di ablazione che confermano l'efficacia di ogni scelta progettuale. Il nostro lavoro stabilisce una baseline semplice ma efficace per la generazione di super-risoluzione video a cascata, offrendo spunti pratici per guidare i futuri progressi nei sistemi di sintesi a cascata efficienti.

English

Latent diffusion models have emerged as a leading paradigm for efficient video generation. However, as user expectations shift toward higher-resolution outputs, relying solely on latent computation becomes inadequate. A promising approach involves decoupling the process into two stages: semantic content generation and detail synthesis. The former employs a computationally intensive base model at lower resolutions, while the latter leverages a lightweight cascaded video super-resolution (VSR) model to achieve high-resolution output. In this work, we focus on studying key design principles for latter cascaded VSR models, which are underexplored currently. First, we propose two degradation strategies to generate training pairs that better mimic the output characteristics of the base model, ensuring alignment between the VSR model and its upstream generator. Second, we provide critical insights into VSR model behavior through systematic analysis of (1) timestep sampling strategies, (2) noise augmentation effects on low-resolution (LR) inputs. These findings directly inform our architectural and training innovations. Finally, we introduce interleaving temporal unit and sparse local attention to achieve efficient training and inference, drastically reducing computational overhead. Extensive experiments demonstrate the superiority of our framework over existing methods, with ablation studies confirming the efficacy of each design choice. Our work establishes a simple yet effective baseline for cascaded video super-resolution generation, offering practical insights to guide future advancements in efficient cascaded synthesis systems.

SimpleGVR: Una Baseline Semplice per la Super-Risoluzione Video a Cascata Latente

SimpleGVR: A Simple Baseline for Latent-Cascaded Video Super-Resolution

Abstract

Support