TRIP: Zeitliches Restlernen mit Bildrauschprior für Bild-zu-Video-Diffusionsmodelle

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

March 25, 2024

Autoren: Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

cs.AI

Zusammenfassung

Neueste Fortschritte in der Text-zu-Video-Erzeugung haben die Nützlichkeit leistungsstarker Diffusionsmodelle gezeigt. Dennoch ist das Problem nicht trivial, wenn es darum geht, Diffusionsmodelle zu formen, um statische Bilder zu animieren (d.h. Bild-zu-Video-Erzeugung). Die Schwierigkeit ergibt sich aus der Tatsache, dass der Diffusionsprozess der aufeinander folgenden animierten Frames nicht nur die treue Ausrichtung mit dem gegebenen Bild bewahren, sondern auch eine zeitliche Kohärenz zwischen benachbarten Frames verfolgen sollte. Um dies zu erleichtern, präsentieren wir TRIP, ein neues Rezept des Bild-zu-Video-Diffusionsparadigmas, das auf dem aus dem statischen Bild abgeleiteten Bildrauschen basiert, um gemeinsam zwischenbildliche relationale Schlussfolgerungen auszulösen und das kohärente zeitliche Modellieren durch temporales Restlernen zu erleichtern. Technisch gesehen wird das Bildrauschen zuerst durch einen einstufigen rückwärtigen Diffusionsprozess basierend auf sowohl dem statischen Bild als auch den verrauschten Video-Latenzcodes erlangt. Anschließend führt TRIP ein residuales Dualpfad-Schema für Rauschvorhersage aus: 1) ein Shortcut-Pfad, der das Bildrauschen als Referenzrauschen jedes Frames direkt nimmt, um die Ausrichtung zwischen dem ersten Frame und den nachfolgenden Frames zu verstärken; 2) ein Residualpfad, der 3D-UNet über verrauschte Video- und statische Bildlatenzcodes verwendet, um zwischenbildliche relationale Schlussfolgerungen zu ermöglichen, wodurch das Lernen des residuellen Rauschens für jedes Frame erleichtert wird. Darüber hinaus werden sowohl das Referenz- als auch das residuale Rauschen jedes Frames dynamisch über einen Aufmerksamkeitsmechanismus für die endgültige Videoerzeugung zusammengeführt. Umfangreiche Experimente mit den Datensätzen WebVid-10M, DTDB und MSR-VTT zeigen die Wirksamkeit unseres TRIP für die Bild-zu-Video-Erzeugung. Bitte besuchen Sie unsere Projektseite unter https://trip-i2v.github.io/TRIP/.

English

Recent advances in text-to-video generation have demonstrated the utility of powerful diffusion models. Nevertheless, the problem is not trivial when shaping diffusion models to animate static image (i.e., image-to-video generation). The difficulty originates from the aspect that the diffusion process of subsequent animated frames should not only preserve the faithful alignment with the given image but also pursue temporal coherence among adjacent frames. To alleviate this, we present TRIP, a new recipe of image-to-video diffusion paradigm that pivots on image noise prior derived from static image to jointly trigger inter-frame relational reasoning and ease the coherent temporal modeling via temporal residual learning. Technically, the image noise prior is first attained through one-step backward diffusion process based on both static image and noised video latent codes. Next, TRIP executes a residual-like dual-path scheme for noise prediction: 1) a shortcut path that directly takes image noise prior as the reference noise of each frame to amplify the alignment between the first frame and subsequent frames; 2) a residual path that employs 3D-UNet over noised video and static image latent codes to enable inter-frame relational reasoning, thereby easing the learning of the residual noise for each frame. Furthermore, both reference and residual noise of each frame are dynamically merged via attention mechanism for final video generation. Extensive experiments on WebVid-10M, DTDB and MSR-VTT datasets demonstrate the effectiveness of our TRIP for image-to-video generation. Please see our project page at https://trip-i2v.github.io/TRIP/.