TRIP: Aprendizado Residual Temporal com Prior de Ruído de Imagem para Modelos de Difusão de Imagem para Vídeo

TRIP: Temporal Residual Learning with Image Noise Prior for Image-to-Video Diffusion Models

March 25, 2024

Autores: Zhongwei Zhang, Fuchen Long, Yingwei Pan, Zhaofan Qiu, Ting Yao, Yang Cao, Tao Mei

cs.AI

Resumo

Avanços recentes na geração de texto para vídeo têm demonstrado a utilidade de modelos de difusão poderosos. No entanto, o problema não é trivial ao adaptar modelos de difusão para animar imagens estáticas (ou seja, geração de imagem para vídeo). A dificuldade surge do fato de que o processo de difusão dos quadros animados subsequentes não deve apenas preservar o alinhamento fiel com a imagem fornecida, mas também buscar coerência temporal entre quadros adjacentes. Para mitigar isso, apresentamos o TRIP, uma nova abordagem para o paradigma de difusão de imagem para vídeo que se baseia em um ruído de imagem derivado da imagem estática para desencadear conjuntamente o raciocínio relacional entre quadros e facilitar a modelagem temporal coerente por meio de aprendizado residual temporal. Tecnicamente, o ruído de imagem é primeiro obtido através de um processo de difusão reversa em um passo, baseado tanto na imagem estática quanto nos códigos latentes do vídeo ruidoso. Em seguida, o TRIP executa um esquema de caminho duplo residual para a previsão de ruído: 1) um caminho direto que utiliza o ruído de imagem como referência de ruído para cada quadro, amplificando o alinhamento entre o primeiro quadro e os quadros subsequentes; 2) um caminho residual que emprega uma 3D-UNet sobre os códigos latentes do vídeo ruidoso e da imagem estática, permitindo o raciocínio relacional entre quadros e, assim, facilitando o aprendizado do ruído residual para cada quadro. Além disso, tanto o ruído de referência quanto o residual de cada quadro são dinamicamente combinados por meio de um mecanismo de atenção para a geração final do vídeo. Experimentos extensivos nos conjuntos de dados WebVid-10M, DTDB e MSR-VTT demonstram a eficácia do nosso TRIP para geração de imagem para vídeo. Consulte nossa página do projeto em https://trip-i2v.github.io/TRIP/.

English

Recent advances in text-to-video generation have demonstrated the utility of powerful diffusion models. Nevertheless, the problem is not trivial when shaping diffusion models to animate static image (i.e., image-to-video generation). The difficulty originates from the aspect that the diffusion process of subsequent animated frames should not only preserve the faithful alignment with the given image but also pursue temporal coherence among adjacent frames. To alleviate this, we present TRIP, a new recipe of image-to-video diffusion paradigm that pivots on image noise prior derived from static image to jointly trigger inter-frame relational reasoning and ease the coherent temporal modeling via temporal residual learning. Technically, the image noise prior is first attained through one-step backward diffusion process based on both static image and noised video latent codes. Next, TRIP executes a residual-like dual-path scheme for noise prediction: 1) a shortcut path that directly takes image noise prior as the reference noise of each frame to amplify the alignment between the first frame and subsequent frames; 2) a residual path that employs 3D-UNet over noised video and static image latent codes to enable inter-frame relational reasoning, thereby easing the learning of the residual noise for each frame. Furthermore, both reference and residual noise of each frame are dynamically merged via attention mechanism for final video generation. Extensive experiments on WebVid-10M, DTDB and MSR-VTT datasets demonstrate the effectiveness of our TRIP for image-to-video generation. Please see our project page at https://trip-i2v.github.io/TRIP/.