비디오 확산에서 시간 모델링 재정의: 벡터화된 타임스텝 방식

Redefining Temporal Modeling in Video Diffusion: The Vectorized Timestep Approach

October 4, 2024

저자: Yaofang Liu, Yumeng Ren, Xiaodong Cun, Aitor Artola, Yang Liu, Tieyong Zeng, Raymond H. Chan, Jean-michel Morel

cs.AI

초록

확산 모델은 이미지 생성을 혁신하였으며, 비디오 생성으로의 확장은 유망성을 보여주었습니다. 그러나 현재의 비디오 확산 모델(VDMs)은 클립 레벨에서 적용되는 스칼라 타임스텝 변수에 의존하며, 이는 이미지에서 비디오로의 생성과 같은 다양한 작업에 필요한 복잡한 시간 종속성을 모델링하는 능력을 제한합니다. 이 한계를 해결하기 위해, 우리는 프레임 인식 비디오 확산 모델(FVDM)을 제안합니다. 이 모델은 새로운 벡터화된 타임스텝 변수(VTV)를 도입합니다. 일반적인 VDM과 달리, 우리의 접근 방식은 각 프레임이 독립적인 노이즈 일정을 따를 수 있도록 하여 세밀한 시간 종속성을 캡처하는 모델의 능력을 향상시킵니다. FVDM의 유연성은 표준 비디오 생성, 이미지에서 비디오 생성, 비디오 보간, 그리고 긴 비디오 합성을 포함한 여러 작업에서 입증되었습니다. 다양한 VTV 구성을 통해, 우리는 생성된 비디오의 우수한 품질을 달성하며, 미세 조정 중의 재앙적인 잊혀짐과 제로샷 방법의 제한된 일반화와 같은 도전을 극복합니다. 우리의 경험적 평가는 FVDM이 비디오 생성 품질에서 최첨단 방법을 능가하며, 확장된 작업에서도 우수한 성과를 거두는 것을 보여줍니다. 기존 VDM의 근본적인 결점을 해결함으로써, FVDM은 비디오 합성에서 새로운 패러다임을 제시하며, 생성 모델링과 멀티미디어 응용 분야에 중요한 영향을 미치는 견고한 프레임워크를 제공합니다.

English

Diffusion models have revolutionized image generation, and their extension to video generation has shown promise. However, current video diffusion models~(VDMs) rely on a scalar timestep variable applied at the clip level, which limits their ability to model complex temporal dependencies needed for various tasks like image-to-video generation. To address this limitation, we propose a frame-aware video diffusion model~(FVDM), which introduces a novel vectorized timestep variable~(VTV). Unlike conventional VDMs, our approach allows each frame to follow an independent noise schedule, enhancing the model's capacity to capture fine-grained temporal dependencies. FVDM's flexibility is demonstrated across multiple tasks, including standard video generation, image-to-video generation, video interpolation, and long video synthesis. Through a diverse set of VTV configurations, we achieve superior quality in generated videos, overcoming challenges such as catastrophic forgetting during fine-tuning and limited generalizability in zero-shot methods.Our empirical evaluations show that FVDM outperforms state-of-the-art methods in video generation quality, while also excelling in extended tasks. By addressing fundamental shortcomings in existing VDMs, FVDM sets a new paradigm in video synthesis, offering a robust framework with significant implications for generative modeling and multimedia applications.