노이즈 보정: 사전 학습된 비디오 확산 모델을 활용한 플러그 앤 플레이 방식의 콘텐츠 보존형 비디오 향상

Noise Calibration: Plug-and-play Content-Preserving Video Enhancement using Pre-trained Video Diffusion Models

July 14, 2024

저자: Qinyu Yang, Haoxin Chen, Yong Zhang, Menghan Xia, Xiaodong Cun, Zhixun Su, Ying Shan

cs.AI

초록

합성된 비디오의 품질을 향상시키기 위해 현재 널리 사용되는 방법 중 하나는 전문가 수준의 디퓨전 모델을 재학습한 후 노이즈 추가-제거 과정을 통해 개선하는 것입니다. 그러나 상당한 학습 비용에도 불구하고, 원본 비디오와 개선된 비디오 간의 콘텐츠 일관성을 유지하는 것은 여전히 주요 과제로 남아 있습니다. 이러한 과제를 해결하기 위해, 우리는 시각적 품질과 콘텐츠 일관성을 모두 고려한 새로운 공식을 제안합니다. 콘텐츠 일관성은 입력의 구조를 유지하는 새로운 손실 함수를 통해 보장되며, 시각적 품질은 사전 학습된 디퓨전 모델의 노이즈 제거 과정을 활용하여 개선됩니다. 이렇게 공식화된 최적화 문제를 해결하기 위해, 우리는 Noise Calibration이라고 명명된 플러그 앤 플레이 노이즈 최적화 전략을 개발했습니다. 초기 무작위 노이즈를 몇 번의 반복을 통해 개선함으로써, 원본 비디오의 콘텐츠를 크게 보존할 수 있으며, 개선 효과도 상당히 향상되었음을 확인할 수 있습니다. 광범위한 실험을 통해 제안된 방법의 효과성이 입증되었습니다.

English

In order to improve the quality of synthesized videos, currently, one predominant method involves retraining an expert diffusion model and then implementing a noising-denoising process for refinement. Despite the significant training costs, maintaining consistency of content between the original and enhanced videos remains a major challenge. To tackle this challenge, we propose a novel formulation that considers both visual quality and consistency of content. Consistency of content is ensured by a proposed loss function that maintains the structure of the input, while visual quality is improved by utilizing the denoising process of pretrained diffusion models. To address the formulated optimization problem, we have developed a plug-and-play noise optimization strategy, referred to as Noise Calibration. By refining the initial random noise through a few iterations, the content of original video can be largely preserved, and the enhancement effect demonstrates a notable improvement. Extensive experiments have demonstrated the effectiveness of the proposed method.