Calibration du bruit : Amélioration vidéo préservant le contenu en plug-and-play utilisant des modèles de diffusion vidéo pré-entraînés

Noise Calibration: Plug-and-play Content-Preserving Video Enhancement using Pre-trained Video Diffusion Models

July 14, 2024

Auteurs: Qinyu Yang, Haoxin Chen, Yong Zhang, Menghan Xia, Xiaodong Cun, Zhixun Su, Ying Shan

cs.AI

Résumé

Afin d'améliorer la qualité des vidéos synthétisées, une méthode prédominante consiste actuellement à réentraîner un modèle de diffusion expert, puis à mettre en œuvre un processus de bruitage-débruitage pour affiner les résultats. Malgré les coûts d'entraînement significatifs, maintenir la cohérence du contenu entre les vidéos originales et améliorées reste un défi majeur. Pour relever ce défi, nous proposons une nouvelle formulation qui prend en compte à la fois la qualité visuelle et la cohérence du contenu. La cohérence du contenu est assurée par une fonction de perte proposée qui préserve la structure de l'entrée, tandis que la qualité visuelle est améliorée en exploitant le processus de débruitage des modèles de diffusion préentraînés. Pour résoudre ce problème d'optimisation formulé, nous avons développé une stratégie d'optimisation du bruit plug-and-play, appelée Calibration du Bruit. En affinant le bruit initial aléatoire à travers quelques itérations, le contenu de la vidéo originale peut être largement préservé, et l'effet d'amélioration montre une nette progression. Des expériences approfondies ont démontré l'efficacité de la méthode proposée.

English

In order to improve the quality of synthesized videos, currently, one predominant method involves retraining an expert diffusion model and then implementing a noising-denoising process for refinement. Despite the significant training costs, maintaining consistency of content between the original and enhanced videos remains a major challenge. To tackle this challenge, we propose a novel formulation that considers both visual quality and consistency of content. Consistency of content is ensured by a proposed loss function that maintains the structure of the input, while visual quality is improved by utilizing the denoising process of pretrained diffusion models. To address the formulated optimization problem, we have developed a plug-and-play noise optimization strategy, referred to as Noise Calibration. By refining the initial random noise through a few iterations, the content of original video can be largely preserved, and the enhancement effect demonstrates a notable improvement. Extensive experiments have demonstrated the effectiveness of the proposed method.