Ruiskalibratie: Plug-and-play inhoudsbehoudende videoverbetering met vooraf getrainde videodiffusiemodellen

Noise Calibration: Plug-and-play Content-Preserving Video Enhancement using Pre-trained Video Diffusion Models

July 14, 2024

Auteurs: Qinyu Yang, Haoxin Chen, Yong Zhang, Menghan Xia, Xiaodong Cun, Zhixun Su, Ying Shan

cs.AI

Samenvatting

Om de kwaliteit van gesynthetiseerde video's te verbeteren, is een van de meest gangbare methoden momenteel het opnieuw trainen van een expert diffusiemodel en vervolgens het toepassen van een ruis-ontruisingsproces voor verfijning. Ondanks de aanzienlijke trainingskosten blijft het behouden van consistentie in de inhoud tussen de originele en verbeterde video's een grote uitdaging. Om deze uitdaging aan te pakken, stellen we een nieuwe formulering voor die zowel de visuele kwaliteit als de consistentie van de inhoud in overweging neemt. Consistentie van de inhoud wordt gewaarborgd door een voorgestelde verliesfunctie die de structuur van de input behoudt, terwijl de visuele kwaliteit wordt verbeterd door gebruik te maken van het ontruisingsproces van vooraf getrainde diffusiemodellen. Om het geformuleerde optimalisatieprobleem aan te pakken, hebben we een plug-and-play ruisoptimalisatiestrategie ontwikkeld, genaamd Noise Calibration. Door de initiële willekeurige ruis te verfijnen via een paar iteraties, kan de inhoud van de originele video grotendeels behouden blijven, en het verbeteringseffect toont een aanzienlijke vooruitgang. Uitgebreide experimenten hebben de effectiviteit van de voorgestelde methode aangetoond.

English

In order to improve the quality of synthesized videos, currently, one predominant method involves retraining an expert diffusion model and then implementing a noising-denoising process for refinement. Despite the significant training costs, maintaining consistency of content between the original and enhanced videos remains a major challenge. To tackle this challenge, we propose a novel formulation that considers both visual quality and consistency of content. Consistency of content is ensured by a proposed loss function that maintains the structure of the input, while visual quality is improved by utilizing the denoising process of pretrained diffusion models. To address the formulated optimization problem, we have developed a plug-and-play noise optimization strategy, referred to as Noise Calibration. By refining the initial random noise through a few iterations, the content of original video can be largely preserved, and the enhancement effect demonstrates a notable improvement. Extensive experiments have demonstrated the effectiveness of the proposed method.