TRIP: Temporeel Residu Leren met Beeldruis Prior voor Beeld-naar-Video Diffusiemodellen

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

March 25, 2024

Auteurs: Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

cs.AI

Samenvatting

Recente vooruitgang in tekst-naar-video-generatie heeft het nut van krachtige diffusiemodellen aangetoond. Desalniettemin is het probleem niet triviaal wanneer diffusiemodellen worden gevormd om statische afbeeldingen te animeren (d.w.z., beeld-naar-video-generatie). De moeilijkheid ontstaat uit het feit dat het diffusieproces van opeenvolgende geanimeerde frames niet alleen een nauwkeurige afstemming met de gegeven afbeelding moet behouden, maar ook temporele samenhang tussen aangrenzende frames moet nastreven. Om dit te verlichten, presenteren we TRIP, een nieuwe aanpak van het beeld-naar-video-diffusieparadigma dat draait om een beeldruisprior afgeleid van een statische afbeelding om gezamenlijk inter-frame relationeel redeneren te activeren en het coherente temporele modelleren te vergemakkelijken via temporeel residu-leren. Technisch gezien wordt de beeldruisprior eerst verkregen via een eenstaps achterwaartse diffusieproces gebaseerd op zowel de statische afbeelding als de geruisde video latente codes. Vervolgens voert TRIP een residu-achtig dubbelpad-schema uit voor ruisvoorspelling: 1) een kortpad dat direct de beeldruisprior als referentieruis voor elk frame neemt om de afstemming tussen het eerste frame en de opeenvolgende frames te versterken; 2) een residupad dat een 3D-UNet gebruikt over de geruisde video en statische afbeelding latente codes om inter-frame relationeel redeneren mogelijk te maken, waardoor het leren van de residu-ruis voor elk frame wordt vergemakkelijkt. Bovendien worden zowel de referentie- als de residu-ruis van elk frame dynamisch samengevoegd via een aandachtmechanisme voor de uiteindelijke videogeneratie. Uitgebreide experimenten op de WebVid-10M, DTDB en MSR-VTT datasets demonstreren de effectiviteit van onze TRIP voor beeld-naar-video-generatie. Zie onze projectpagina op https://trip-i2v.github.io/TRIP/.

English

Recent advances in text-to-video generation have demonstrated the utility of powerful diffusion models. Nevertheless, the problem is not trivial when shaping diffusion models to animate static image (i.e., image-to-video generation). The difficulty originates from the aspect that the diffusion process of subsequent animated frames should not only preserve the faithful alignment with the given image but also pursue temporal coherence among adjacent frames. To alleviate this, we present TRIP, a new recipe of image-to-video diffusion paradigm that pivots on image noise prior derived from static image to jointly trigger inter-frame relational reasoning and ease the coherent temporal modeling via temporal residual learning. Technically, the image noise prior is first attained through one-step backward diffusion process based on both static image and noised video latent codes. Next, TRIP executes a residual-like dual-path scheme for noise prediction: 1) a shortcut path that directly takes image noise prior as the reference noise of each frame to amplify the alignment between the first frame and subsequent frames; 2) a residual path that employs 3D-UNet over noised video and static image latent codes to enable inter-frame relational reasoning, thereby easing the learning of the residual noise for each frame. Furthermore, both reference and residual noise of each frame are dynamically merged via attention mechanism for final video generation. Extensive experiments on WebVid-10M, DTDB and MSR-VTT datasets demonstrate the effectiveness of our TRIP for image-to-video generation. Please see our project page at https://trip-i2v.github.io/TRIP/.