Neudefinition der zeitlichen Modellierung in der Videodiffusion: Der vektorisierte Zeitschrittansatz

Redefining Temporal Modeling in Video Diffusion: The Vectorized Timestep Approach

October 4, 2024

Autoren: Yaofang Liu, Yumeng Ren, Xiaodong Cun, Aitor Artola, Yang Liu, Tieyong Zeng, Raymond H. Chan, Jean-michel Morel

cs.AI

Zusammenfassung

Diffusionsmodelle haben die Bildgenerierung revolutioniert, und ihre Erweiterung auf die Videogenerierung hat vielversprechende Ergebnisse gezeigt. Allerdings basieren aktuelle Videodiffusionsmodelle (VDMs) auf einer skalaren Zeitschrittvariablen, die auf Clip-Ebene angewendet wird, was ihre Fähigkeit zur Modellierung komplexer zeitlicher Abhängigkeiten, die für verschiedene Aufgaben wie die Bild-zu-Video-Generierung erforderlich sind, einschränkt. Um diese Einschränkung zu überwinden, schlagen wir ein rahmenbewusstes Videodiffusionsmodell (FVDM) vor, das eine neuartige vektorisierte Zeitschrittvariable (VTV) einführt. Im Gegensatz zu herkömmlichen VDMs ermöglicht unser Ansatz, dass jedes Frame einem unabhängigen Rauschplan folgt, was die Fähigkeit des Modells zur Erfassung feingranularer zeitlicher Abhängigkeiten verbessert. Die Flexibilität des FVDM wird über mehrere Aufgaben hinweg demonstriert, darunter die Standard-Videogenerierung, die Bild-zu-Video-Generierung, die Video-Interpolation und die Synthese langer Videos. Durch eine vielfältige Reihe von VTV-Konfigurationen erzielen wir eine überlegene Qualität bei generierten Videos, wobei Herausforderungen wie katastrophales Vergessen während des Feinabstimmens und begrenzte Verallgemeinerbarkeit bei Zero-Shot-Methoden überwunden werden. Unsere empirischen Bewertungen zeigen, dass FVDM die Methoden der Spitzenklasse in Bezug auf die Qualität der Videogenerierung übertrifft und auch bei erweiterten Aufgaben herausragende Leistungen erbringt. Indem grundlegende Mängel in bestehenden VDMs angegangen werden, setzt FVDM ein neues Paradigma in der Videosynthese, das ein robustes Framework mit bedeutenden Auswirkungen auf die generative Modellierung und Multimediaanwendungen bietet.

English

Diffusion models have revolutionized image generation, and their extension to video generation has shown promise. However, current video diffusion models~(VDMs) rely on a scalar timestep variable applied at the clip level, which limits their ability to model complex temporal dependencies needed for various tasks like image-to-video generation. To address this limitation, we propose a frame-aware video diffusion model~(FVDM), which introduces a novel vectorized timestep variable~(VTV). Unlike conventional VDMs, our approach allows each frame to follow an independent noise schedule, enhancing the model's capacity to capture fine-grained temporal dependencies. FVDM's flexibility is demonstrated across multiple tasks, including standard video generation, image-to-video generation, video interpolation, and long video synthesis. Through a diverse set of VTV configurations, we achieve superior quality in generated videos, overcoming challenges such as catastrophic forgetting during fine-tuning and limited generalizability in zero-shot methods.Our empirical evaluations show that FVDM outperforms state-of-the-art methods in video generation quality, while also excelling in extended tasks. By addressing fundamental shortcomings in existing VDMs, FVDM sets a new paradigm in video synthesis, offering a robust framework with significant implications for generative modeling and multimedia applications.