SeedVR2: 拡散敵対的ポストトレーニングによるワンステップ動画復元

SeedVR2: One-Step Video Restoration via Diffusion Adversarial Post-Training

June 5, 2025

著者: Jianyi Wang, Shanchuan Lin, Zhijie Lin, Yuxi Ren, Meng Wei, Zongsheng Yue, Shangchen Zhou, Hao Chen, Yang Zhao, Ceyuan Yang, Xuefeng Xiao, Chen Change Loy, Lu Jiang

cs.AI

要旨

拡散モデルに基づくビデオ復元（VR）の最近の進展は、視覚品質の大幅な向上を示しているものの、推論時の計算コストが非常に高くなっています。一方、蒸留ベースのアプローチのいくつかは、ワンステップの画像復元の可能性を示していますが、既存のアプローチをVRに拡張することは依然として困難であり、特に実世界の設定での高解像度ビデオを扱う場合には未開拓の領域です。本研究では、SeedVR2と名付けたワンステップの拡散ベースのVRモデルを提案し、実データに対する敵対的VRトレーニングを実行します。ワンステップで高解像度VRを処理するために、モデルアーキテクチャとトレーニング手順の両方にいくつかの改良を加えました。具体的には、出力解像度に合わせてウィンドウサイズを動的に調整する適応型ウィンドウアテンションメカニズムを提案し、事前定義されたウィンドウサイズを使用したウィンドウアテンション下での高解像度VRで観察されるウィンドウの不整合を回避します。さらに、VRに向けた敵対的ポストトレーニングを安定化し改善するために、トレーニング効率を大幅に犠牲にすることなく提案された特徴マッチング損失を含む一連の損失の有効性を検証します。広範な実験により、SeedVR2が既存のVRアプローチと比較してワンステップで同等またはそれ以上の性能を達成できることが示されています。

English

Recent advances in diffusion-based video restoration (VR) demonstrate significant improvement in visual quality, yet yield a prohibitive computational cost during inference. While several distillation-based approaches have exhibited the potential of one-step image restoration, extending existing approaches to VR remains challenging and underexplored, particularly when dealing with high-resolution video in real-world settings. In this work, we propose a one-step diffusion-based VR model, termed as SeedVR2, which performs adversarial VR training against real data. To handle the challenging high-resolution VR within a single step, we introduce several enhancements to both model architecture and training procedures. Specifically, an adaptive window attention mechanism is proposed, where the window size is dynamically adjusted to fit the output resolutions, avoiding window inconsistency observed under high-resolution VR using window attention with a predefined window size. To stabilize and improve the adversarial post-training towards VR, we further verify the effectiveness of a series of losses, including a proposed feature matching loss without significantly sacrificing training efficiency. Extensive experiments show that SeedVR2 can achieve comparable or even better performance compared with existing VR approaches in a single step.