Калибровка шума: улучшение видео с сохранением контента "подключить и использовать" с помощью предварительно обученных моделей диффузии видео.

Noise Calibration: Plug-and-play Content-Preserving Video Enhancement using Pre-trained Video Diffusion Models

July 14, 2024

Авторы: Qinyu Yang, Haoxin Chen, Yong Zhang, Menghan Xia, Xiaodong Cun, Zhixun Su, Ying Shan

cs.AI

Аннотация

Для улучшения качества синтезированных видео в настоящее время преобладающим методом является повторное обучение экспертной модели диффузии, а затем применение процесса добавления шума и его удаления для улучшения. Несмотря на значительные затраты на обучение, сохранение согласованности контента между оригинальным и улучшенным видео остается основной проблемой. Для решения этой проблемы мы предлагаем новую формулировку, которая учитывает как визуальное качество, так и согласованность контента. Согласованность контента обеспечивается предложенной функцией потерь, которая сохраняет структуру ввода, а визуальное качество улучшается за счет использования процесса удаления шума предварительно обученных моделей диффузии. Для решения сформулированной задачи оптимизации мы разработали стратегию оптимизации шума "Калибровка шума". Путем уточнения начального случайного шума через несколько итераций контент оригинального видео может быть в значительной степени сохранен, и эффект улучшения демонстрирует заметное улучшение. Обширные эксперименты продемонстрировали эффективность предложенного метода.

English

In order to improve the quality of synthesized videos, currently, one predominant method involves retraining an expert diffusion model and then implementing a noising-denoising process for refinement. Despite the significant training costs, maintaining consistency of content between the original and enhanced videos remains a major challenge. To tackle this challenge, we propose a novel formulation that considers both visual quality and consistency of content. Consistency of content is ensured by a proposed loss function that maintains the structure of the input, while visual quality is improved by utilizing the denoising process of pretrained diffusion models. To address the formulated optimization problem, we have developed a plug-and-play noise optimization strategy, referred to as Noise Calibration. By refining the initial random noise through a few iterations, the content of original video can be largely preserved, and the enhancement effect demonstrates a notable improvement. Extensive experiments have demonstrated the effectiveness of the proposed method.