TRIP: Apprendimento Residuo Temporale con Prior sul Rumore delle Immagini per Modelli di Diffusione da Immagine a Video

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

March 25, 2024

Autori: Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

cs.AI

Abstract

I recenti progressi nella generazione di video da testo hanno dimostrato l'utilità di potenti modelli di diffusione. Tuttavia, il problema non è banale quando si tratta di modellare i processi di diffusione per animare immagini statiche (cioè, generazione di video da immagini). La difficoltà deriva dal fatto che il processo di diffusione dei fotogrammi animati successivi non deve solo preservare un allineamento fedele con l'immagine data, ma anche perseguire una coerenza temporale tra i fotogrammi adiacenti. Per mitigare questo problema, presentiamo TRIP, una nuova ricetta per il paradigma di diffusione da immagine a video che si basa su un precedente rumore dell'immagine derivato dall'immagine statica per attivare congiuntamente il ragionamento relazionale inter-fotogramma e facilitare la modellazione temporale coerente attraverso l'apprendimento residuo temporale. Tecnicamente, il precedente rumore dell'immagine viene prima ottenuto attraverso un processo di diffusione all'indietro in un singolo passaggio basato sia sull'immagine statica che sui codici latenti del video rumoroso. Successivamente, TRIP esegue uno schema dual-path di tipo residuo per la previsione del rumore: 1) un percorso diretto che prende direttamente il precedente rumore dell'immagine come rumore di riferimento per ogni fotogramma per amplificare l'allineamento tra il primo fotogramma e quelli successivi; 2) un percorso residuo che utilizza una 3D-UNet sui codici latenti del video rumoroso e dell'immagine statica per abilitare il ragionamento relazionale inter-fotogramma, facilitando così l'apprendimento del rumore residuo per ogni fotogramma. Inoltre, sia il rumore di riferimento che quello residuo di ogni fotogramma vengono dinamicamente fusi attraverso un meccanismo di attenzione per la generazione finale del video. Esperimenti estesi sui dataset WebVid-10M, DTDB e MSR-VTT dimostrano l'efficacia del nostro TRIP per la generazione di video da immagini. Si prega di visitare la nostra pagina del progetto all'indirizzo https://trip-i2v.github.io/TRIP/.

English

Recent advances in text-to-video generation have demonstrated the utility of powerful diffusion models. Nevertheless, the problem is not trivial when shaping diffusion models to animate static image (i.e., image-to-video generation). The difficulty originates from the aspect that the diffusion process of subsequent animated frames should not only preserve the faithful alignment with the given image but also pursue temporal coherence among adjacent frames. To alleviate this, we present TRIP, a new recipe of image-to-video diffusion paradigm that pivots on image noise prior derived from static image to jointly trigger inter-frame relational reasoning and ease the coherent temporal modeling via temporal residual learning. Technically, the image noise prior is first attained through one-step backward diffusion process based on both static image and noised video latent codes. Next, TRIP executes a residual-like dual-path scheme for noise prediction: 1) a shortcut path that directly takes image noise prior as the reference noise of each frame to amplify the alignment between the first frame and subsequent frames; 2) a residual path that employs 3D-UNet over noised video and static image latent codes to enable inter-frame relational reasoning, thereby easing the learning of the residual noise for each frame. Furthermore, both reference and residual noise of each frame are dynamically merged via attention mechanism for final video generation. Extensive experiments on WebVid-10M, DTDB and MSR-VTT datasets demonstrate the effectiveness of our TRIP for image-to-video generation. Please see our project page at https://trip-i2v.github.io/TRIP/.