Настройка-бесплатная коррекция шума для создания видео высокой точности изображения
Tuning-Free Noise Rectification for High Fidelity Image-to-Video Generation
March 5, 2024
Авторы: Weijie Li, Litong Gong, Yiran Zhu, Fanda Fan, Biao Wang, Tiezheng Ge, Bo Zheng
cs.AI
Аннотация
Задачи генерации изображения в видео (I2V) всегда сталкиваются с проблемой поддержания высокой достоверности в открытых доменах. Традиционные техники анимации изображений в основном сосредотачиваются на конкретных доменах, таких как лица или позы людей, что делает их сложными для обобщения на открытые домены. Несколько недавних фреймворков I2V, основанных на моделях диффузии, могут генерировать динамический контент для изображений открытого домена, но не способны сохранить достоверность. Мы обнаружили, что два основных фактора низкой достоверности - это потеря деталей изображения и предвзятость прогнозирования шума в процессе денойзинга. Для решения этой проблемы мы предлагаем эффективный метод, который может быть применен к основным моделям диффузии видео. Этот метод достигает высокой достоверности на основе дополнения более точной информации об изображении и коррекции шума. Конкретно, учитывая указанное изображение, наш метод сначала добавляет шум к входному изображению в скрытом виде, чтобы сохранить больше деталей, затем устраняет шумный скрытый слой с правильной коррекцией для смягчения предвзятости прогнозирования шума. Наш метод не требует настройки и готов к использованию. Экспериментальные результаты демонстрируют эффективность нашего подхода в улучшении достоверности созданных видео. Для получения дополнительных результатов генерации изображения в видео обратитесь к веб-сайту проекта: https://noise-rectification.github.io.
English
Image-to-video (I2V) generation tasks always suffer from keeping high
fidelity in the open domains. Traditional image animation techniques primarily
focus on specific domains such as faces or human poses, making them difficult
to generalize to open domains. Several recent I2V frameworks based on diffusion
models can generate dynamic content for open domain images but fail to maintain
fidelity. We found that two main factors of low fidelity are the loss of image
details and the noise prediction biases during the denoising process. To this
end, we propose an effective method that can be applied to mainstream video
diffusion models. This method achieves high fidelity based on supplementing
more precise image information and noise rectification. Specifically, given a
specified image, our method first adds noise to the input image latent to keep
more details, then denoises the noisy latent with proper rectification to
alleviate the noise prediction biases. Our method is tuning-free and
plug-and-play. The experimental results demonstrate the effectiveness of our
approach in improving the fidelity of generated videos. For more image-to-video
generated results, please refer to the project website:
https://noise-rectification.github.io.