SimpleGVR: 잠재-계단식 비디오 초해상도를 위한 간단한 베이스라인

초록

잠재 확산 모델(Latent Diffusion Models)은 효율적인 비디오 생성을 위한 주요 패러다임으로 부상했다. 그러나 사용자 기대가 고해상도 출력으로 전환됨에 따라, 잠재 공간 계산에만 의존하는 것은 한계를 보인다. 이를 해결하기 위한 유망한 접근법은 프로세스를 두 단계로 분리하는 것이다: 의미론적 콘텐츠 생성과 세부 합성. 전자는 낮은 해상도에서 계산 집약적인 기본 모델을 사용하고, 후자는 경량화된 캐스케이드 비디오 초해상도(VSR) 모델을 활용하여 고해상도 출력을 달성한다. 본 연구에서는 현재까지 충분히 탐구되지 않은 캐스케이드 VSR 모델의 핵심 설계 원칙을 연구하는 데 초점을 맞춘다. 첫째, 기본 모델의 출력 특성을 더 잘 모방하는 훈련 쌍을 생성하기 위한 두 가지 저하 전략을 제안하여 VSR 모델과 상위 생성기 간의 정렬을 보장한다. 둘째, (1) 시간 단계 샘플링 전략과 (2) 저해상도(LR) 입력에 대한 노이즈 증강 효과를 체계적으로 분석함으로써 VSR 모델의 동작에 대한 중요한 통찰을 제공한다. 이러한 발견은 우리의 아키텍처 및 훈련 혁신에 직접적으로 기여한다. 마지막으로, 인터리빙 시간 단위와 희소 지역 주의 메커니즘을 도입하여 효율적인 훈련과 추론을 달성함으로써 계산 오버헤드를 크게 줄인다. 광범위한 실험을 통해 우리의 프레임워크가 기존 방법들을 능가하는 우수성을 입증하며, 각 설계 선택의 효용성을 확인하는 절제 연구를 수행한다. 본 연구는 캐스케이드 비디오 초해상도 생성을 위한 간단하지만 효과적인 기준을 확립함으로써, 효율적인 캐스케이드 합성 시스템의 미래 발전을 이끌 실용적인 통찰을 제공한다.

English

Latent diffusion models have emerged as a leading paradigm for efficient video generation. However, as user expectations shift toward higher-resolution outputs, relying solely on latent computation becomes inadequate. A promising approach involves decoupling the process into two stages: semantic content generation and detail synthesis. The former employs a computationally intensive base model at lower resolutions, while the latter leverages a lightweight cascaded video super-resolution (VSR) model to achieve high-resolution output. In this work, we focus on studying key design principles for latter cascaded VSR models, which are underexplored currently. First, we propose two degradation strategies to generate training pairs that better mimic the output characteristics of the base model, ensuring alignment between the VSR model and its upstream generator. Second, we provide critical insights into VSR model behavior through systematic analysis of (1) timestep sampling strategies, (2) noise augmentation effects on low-resolution (LR) inputs. These findings directly inform our architectural and training innovations. Finally, we introduce interleaving temporal unit and sparse local attention to achieve efficient training and inference, drastically reducing computational overhead. Extensive experiments demonstrate the superiority of our framework over existing methods, with ablation studies confirming the efficacy of each design choice. Our work establishes a simple yet effective baseline for cascaded video super-resolution generation, offering practical insights to guide future advancements in efficient cascaded synthesis systems.

SimpleGVR: 잠재-계단식 비디오 초해상도를 위한 간단한 베이스라인

SimpleGVR: A Simple Baseline for Latent-Cascaded Video Super-Resolution

초록

Support