Herdefiniëring van Temporele Modellering in Videoverspreiding: De Gevectoriseerde Tijdstapbenadering

Redefining Temporal Modeling in Video Diffusion: The Vectorized Timestep Approach

October 4, 2024

Auteurs: Yaofang Liu, Yumeng Ren, Xiaodong Cun, Aitor Artola, Yang Liu, Tieyong Zeng, Raymond H. Chan, Jean-michel Morel

cs.AI

Samenvatting

Diffusiemodellen hebben de beeldgeneratie gerevolutioneerd, en hun uitbreiding naar videogeneratie heeft potentie getoond. Echter, huidige videodiffusiemodellen (VDM's) vertrouwen op een scalaire tijdstapvariabele toegepast op het clipniveau, wat hun vermogen beperkt om complexe temporele afhankelijkheden te modelleren die nodig zijn voor verschillende taken zoals beeld-naar-video generatie. Om deze beperking aan te pakken, stellen we een frame-bewust videodiffusiemodel (FVDM) voor, dat een nieuw vectorgebaseerde tijdstapvariabele (VTV) introduceert. In tegenstelling tot conventionele VDM's staat onze benadering toe dat elk frame een onafhankelijk ruischema volgt, waardoor de capaciteit van het model om fijnmazige temporele afhankelijkheden vast te leggen wordt verbeterd. De flexibiliteit van FVDM wordt gedemonstreerd over meerdere taken, waaronder standaard videogeneratie, beeld-naar-video generatie, video-interpolatie en lang videosynthese. Door middel van een divers scala aan VTV-configuraties bereiken we superieure kwaliteit in gegenereerde video's, waarbij uitdagingen zoals catastrofaal vergeten tijdens fijnafstemming en beperkte generaliseerbaarheid in zero-shot methoden worden overwonnen. Onze empirische evaluaties tonen aan dat FVDM beter presteert dan state-of-the-art methoden op het gebied van videokwaliteit, terwijl het ook uitblinkt in uitgebreide taken. Door fundamentele tekortkomingen in bestaande VDM's aan te pakken, stelt FVDM een nieuw paradigma in videobewerking, en biedt het een robuust kader met significante implicaties voor generatieve modellering en multimediatoepassingen.

English

Diffusion models have revolutionized image generation, and their extension to video generation has shown promise. However, current video diffusion models~(VDMs) rely on a scalar timestep variable applied at the clip level, which limits their ability to model complex temporal dependencies needed for various tasks like image-to-video generation. To address this limitation, we propose a frame-aware video diffusion model~(FVDM), which introduces a novel vectorized timestep variable~(VTV). Unlike conventional VDMs, our approach allows each frame to follow an independent noise schedule, enhancing the model's capacity to capture fine-grained temporal dependencies. FVDM's flexibility is demonstrated across multiple tasks, including standard video generation, image-to-video generation, video interpolation, and long video synthesis. Through a diverse set of VTV configurations, we achieve superior quality in generated videos, overcoming challenges such as catastrophic forgetting during fine-tuning and limited generalizability in zero-shot methods.Our empirical evaluations show that FVDM outperforms state-of-the-art methods in video generation quality, while also excelling in extended tasks. By addressing fundamental shortcomings in existing VDMs, FVDM sets a new paradigm in video synthesis, offering a robust framework with significant implications for generative modeling and multimedia applications.