ノイズキャリブレーション：事前学習済みビデオ拡散モデルを用いたプラグアンドプレイ型コンテンツ保存ビデオエンハンスメント

Noise Calibration: Plug-and-play Content-Preserving Video Enhancement using Pre-trained Video Diffusion Models

July 14, 2024

著者: Qinyu Yang, Haoxin Chen, Yong Zhang, Menghan Xia, Xiaodong Cun, Zhixun Su, Ying Shan

cs.AI

要旨

合成動画の品質向上を図るため、現在主流となっている手法の一つは、専門的な拡散モデルを再学習し、その後ノイズ付加・除去プロセスを適用して精緻化を行うというものです。しかし、多大な学習コストを要するにもかかわらず、元の動画と強化後の動画間の内容の一貫性を維持することは依然として大きな課題となっています。この課題に対処するため、我々は視覚的品質と内容の一貫性の両方を考慮した新しい定式化を提案します。内容の一貫性は、入力の構造を維持する新たに提案した損失関数によって保証され、視覚的品質は事前学習済み拡散モデルのノイズ除去プロセスを活用することで向上させます。この定式化された最適化問題に対処するため、我々はプラグアンドプレイ型のノイズ最適化戦略、すなわちNoise Calibrationを開発しました。初期のランダムノイズを数回の反復で精緻化することで、元の動画の内容を大幅に保持しつつ、強化効果が顕著に向上することを実証しました。広範な実験を通じて、提案手法の有効性が示されています。

English

In order to improve the quality of synthesized videos, currently, one predominant method involves retraining an expert diffusion model and then implementing a noising-denoising process for refinement. Despite the significant training costs, maintaining consistency of content between the original and enhanced videos remains a major challenge. To tackle this challenge, we propose a novel formulation that considers both visual quality and consistency of content. Consistency of content is ensured by a proposed loss function that maintains the structure of the input, while visual quality is improved by utilizing the denoising process of pretrained diffusion models. To address the formulated optimization problem, we have developed a plug-and-play noise optimization strategy, referred to as Noise Calibration. By refining the initial random noise through a few iterations, the content of original video can be largely preserved, and the enhancement effect demonstrates a notable improvement. Extensive experiments have demonstrated the effectiveness of the proposed method.