TRIP : Apprentissage résiduel temporel avec a priori sur le bruit d'image pour les modèles de diffusion image-à-vidéo

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

March 25, 2024

Auteurs: Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

cs.AI

Résumé

Les récents progrès dans la génération de texte-à-vidéo ont démontré l'utilité des puissants modèles de diffusion. Néanmoins, le problème n'est pas trivial lorsqu'il s'agit d'adapter ces modèles pour animer une image statique (c'est-à-dire la génération d'image-à-vidéo). La difficulté provient du fait que le processus de diffusion des images animées successives doit non seulement préserver une fidèle alignement avec l'image donnée, mais aussi rechercher une cohérence temporelle entre les images adjacentes. Pour atténuer cela, nous présentons TRIP, une nouvelle approche du paradigme de diffusion image-à-vidéo qui s'appuie sur un a priori de bruit d'image dérivé de l'image statique pour déclencher conjointement un raisonnement relationnel inter-images et faciliter la modélisation temporelle cohérente via un apprentissage résiduel temporel. Techniquement, l'a priori de bruit d'image est d'abord obtenu par un processus de diffusion inverse en une étape basé à la fois sur l'image statique et les codes latents de la vidéo bruitée. Ensuite, TRIP exécute un schéma à double voie de type résiduel pour la prédiction du bruit : 1) une voie directe qui prend directement l'a priori de bruit d'image comme référence de bruit pour chaque image afin d'amplifier l'alignement entre la première image et les images suivantes ; 2) une voie résiduelle qui utilise un 3D-UNet sur les codes latents de la vidéo bruitée et de l'image statique pour permettre un raisonnement relationnel inter-images, facilitant ainsi l'apprentissage du bruit résiduel pour chaque image. De plus, le bruit de référence et le bruit résiduel de chaque image sont dynamiquement fusionnés via un mécanisme d'attention pour la génération finale de la vidéo. Des expériences approfondies sur les ensembles de données WebVid-10M, DTDB et MSR-VTT démontrent l'efficacité de notre TRIP pour la génération d'image-à-vidéo. Veuillez consulter notre page de projet à l'adresse https://trip-i2v.github.io/TRIP/.

English

Recent advances in text-to-video generation have demonstrated the utility of powerful diffusion models. Nevertheless, the problem is not trivial when shaping diffusion models to animate static image (i.e., image-to-video generation). The difficulty originates from the aspect that the diffusion process of subsequent animated frames should not only preserve the faithful alignment with the given image but also pursue temporal coherence among adjacent frames. To alleviate this, we present TRIP, a new recipe of image-to-video diffusion paradigm that pivots on image noise prior derived from static image to jointly trigger inter-frame relational reasoning and ease the coherent temporal modeling via temporal residual learning. Technically, the image noise prior is first attained through one-step backward diffusion process based on both static image and noised video latent codes. Next, TRIP executes a residual-like dual-path scheme for noise prediction: 1) a shortcut path that directly takes image noise prior as the reference noise of each frame to amplify the alignment between the first frame and subsequent frames; 2) a residual path that employs 3D-UNet over noised video and static image latent codes to enable inter-frame relational reasoning, thereby easing the learning of the residual noise for each frame. Furthermore, both reference and residual noise of each frame are dynamically merged via attention mechanism for final video generation. Extensive experiments on WebVid-10M, DTDB and MSR-VTT datasets demonstrate the effectiveness of our TRIP for image-to-video generation. Please see our project page at https://trip-i2v.github.io/TRIP/.