Retificação de Ruído sem Ajuste para Geração de Imagem-para-Vídeo de Alta Fidelidade

Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation

March 5, 2024

Autores: Weijie Li, Litong Gong, Yiran Zhu, Fanda Fan, Biao Wang, Tiezheng Ge, Bo Zheng

cs.AI

Resumo

As tarefas de geração de imagem para vídeo (I2V) sempre enfrentam desafios para manter alta fidelidade em domínios abertos. As técnicas tradicionais de animação de imagens focam principalmente em domínios específicos, como rostos ou poses humanas, tornando difícil sua generalização para domínios abertos. Vários frameworks recentes de I2V baseados em modelos de difusão conseguem gerar conteúdo dinâmico para imagens de domínio aberto, mas falham em manter a fidelidade. Descobrimos que dois fatores principais da baixa fidelidade são a perda de detalhes da imagem e os vieses de predição de ruído durante o processo de remoção de ruído. Para isso, propomos um método eficaz que pode ser aplicado aos principais modelos de difusão de vídeo. Esse método alcança alta fidelidade com base no fornecimento de informações de imagem mais precisas e na retificação de ruído. Especificamente, dada uma imagem especificada, nosso método primeiro adiciona ruído ao latente da imagem de entrada para preservar mais detalhes, em seguida, remove o ruído do latente com a retificação adequada para mitigar os vieses de predição de ruído. Nosso método não requer ajustes e é plug-and-play. Os resultados experimentais demonstram a eficácia de nossa abordagem na melhoria da fidelidade dos vídeos gerados. Para mais resultados de geração de imagem para vídeo, consulte o site do projeto: https://noise-rectification.github.io.

English

Image-to-video (I2V) generation tasks always suffer from keeping high fidelity in the open domains. Traditional image animation techniques primarily focus on specific domains such as faces or human poses, making them difficult to generalize to open domains. Several recent I2V frameworks based on diffusion models can generate dynamic content for open domain images but fail to maintain fidelity. We found that two main factors of low fidelity are the loss of image details and the noise prediction biases during the denoising process. To this end, we propose an effective method that can be applied to mainstream video diffusion models. This method achieves high fidelity based on supplementing more precise image information and noise rectification. Specifically, given a specified image, our method first adds noise to the input image latent to keep more details, then denoises the noisy latent with proper rectification to alleviate the noise prediction biases. Our method is tuning-free and plug-and-play. The experimental results demonstrate the effectiveness of our approach in improving the fidelity of generated videos. For more image-to-video generated results, please refer to the project website: https://noise-rectification.github.io.