TRIP: Aprendizaje Residual Temporal con Prior de Ruido en Imágenes para Modelos de Difusión de Imagen a Video

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

March 25, 2024

Autores: Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

cs.AI

Resumen

Los recientes avances en la generación de texto a video han demostrado la utilidad de los potentes modelos de difusión. Sin embargo, el problema no es trivial cuando se trata de adaptar modelos de difusión para animar imágenes estáticas (es decir, generación de imagen a video). La dificultad surge del hecho de que el proceso de difusión de los fotogramas animados subsiguientes no solo debe preservar la alineación fiel con la imagen dada, sino también buscar la coherencia temporal entre los fotogramas adyacentes. Para mitigar esto, presentamos TRIP, una nueva receta del paradigma de difusión de imagen a video que se centra en el prior de ruido de imagen derivado de la imagen estática para desencadenar conjuntamente el razonamiento relacional entre fotogramas y facilitar el modelado temporal coherente mediante el aprendizaje de residuos temporales. Técnicamente, el prior de ruido de imagen se obtiene primero a través de un proceso de difusión inversa de un paso basado tanto en la imagen estática como en los códigos latentes del video ruidoso. A continuación, TRIP ejecuta un esquema de doble vía similar a un residuo para la predicción del ruido: 1) una vía directa que toma el prior de ruido de imagen como el ruido de referencia de cada fotograma para amplificar la alineación entre el primer fotograma y los fotogramas subsiguientes; 2) una vía de residuo que emplea una red 3D-UNet sobre los códigos latentes del video ruidoso y la imagen estática para permitir el razonamiento relacional entre fotogramas, facilitando así el aprendizaje del ruido residual para cada fotograma. Además, tanto el ruido de referencia como el ruido residual de cada fotograma se fusionan dinámicamente mediante un mecanismo de atención para la generación final del video. Experimentos extensos en los conjuntos de datos WebVid-10M, DTDB y MSR-VTT demuestran la efectividad de nuestro TRIP para la generación de imagen a video. Consulte nuestra página del proyecto en https://trip-i2v.github.io/TRIP/.

English

Recent advances in text-to-video generation have demonstrated the utility of powerful diffusion models. Nevertheless, the problem is not trivial when shaping diffusion models to animate static image (i.e., image-to-video generation). The difficulty originates from the aspect that the diffusion process of subsequent animated frames should not only preserve the faithful alignment with the given image but also pursue temporal coherence among adjacent frames. To alleviate this, we present TRIP, a new recipe of image-to-video diffusion paradigm that pivots on image noise prior derived from static image to jointly trigger inter-frame relational reasoning and ease the coherent temporal modeling via temporal residual learning. Technically, the image noise prior is first attained through one-step backward diffusion process based on both static image and noised video latent codes. Next, TRIP executes a residual-like dual-path scheme for noise prediction: 1) a shortcut path that directly takes image noise prior as the reference noise of each frame to amplify the alignment between the first frame and subsequent frames; 2) a residual path that employs 3D-UNet over noised video and static image latent codes to enable inter-frame relational reasoning, thereby easing the learning of the residual noise for each frame. Furthermore, both reference and residual noise of each frame are dynamically merged via attention mechanism for final video generation. Extensive experiments on WebVid-10M, DTDB and MSR-VTT datasets demonstrate the effectiveness of our TRIP for image-to-video generation. Please see our project page at https://trip-i2v.github.io/TRIP/.