Rectificación de Ruido sin Ajustes para la Generación de Imagen a Video de Alta Fidelidad

Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation

March 5, 2024

Autores: Weijie Li, Litong Gong, Yiran Zhu, Fanda Fan, Biao Wang, Tiezheng Ge, Bo Zheng

cs.AI

Resumen

Las tareas de generación de imagen a video (I2V) siempre han enfrentado dificultades para mantener una alta fidelidad en dominios abiertos. Las técnicas tradicionales de animación de imágenes se centran principalmente en dominios específicos, como rostros o poses humanas, lo que dificulta su generalización a dominios abiertos. Varios marcos recientes de I2V basados en modelos de difusión pueden generar contenido dinámico para imágenes de dominio abierto, pero no logran mantener la fidelidad. Descubrimos que dos factores principales de la baja fidelidad son la pérdida de detalles de la imagen y los sesgos en la predicción del ruido durante el proceso de eliminación de ruido. Para abordar esto, proponemos un método efectivo que puede aplicarse a los principales modelos de difusión de video. Este método logra alta fidelidad al complementar información más precisa de la imagen y corregir el ruido. Específicamente, dada una imagen específica, nuestro método primero agrega ruido al latente de la imagen de entrada para preservar más detalles, luego elimina el ruido del latente con una corrección adecuada para mitigar los sesgos en la predicción del ruido. Nuestro método no requiere ajustes y es plug-and-play. Los resultados experimentales demuestran la efectividad de nuestro enfoque para mejorar la fidelidad de los videos generados. Para ver más resultados de generación de imagen a video, visite el sitio web del proyecto: https://noise-rectification.github.io.

English

Image-to-video (I2V) generation tasks always suffer from keeping high fidelity in the open domains. Traditional image animation techniques primarily focus on specific domains such as faces or human poses, making them difficult to generalize to open domains. Several recent I2V frameworks based on diffusion models can generate dynamic content for open domain images but fail to maintain fidelity. We found that two main factors of low fidelity are the loss of image details and the noise prediction biases during the denoising process. To this end, we propose an effective method that can be applied to mainstream video diffusion models. This method achieves high fidelity based on supplementing more precise image information and noise rectification. Specifically, given a specified image, our method first adds noise to the input image latent to keep more details, then denoises the noisy latent with proper rectification to alleviate the noise prediction biases. Our method is tuning-free and plug-and-play. The experimental results demonstrate the effectiveness of our approach in improving the fidelity of generated videos. For more image-to-video generated results, please refer to the project website: https://noise-rectification.github.io.