DiffIR2VR-Zero: 확산 기반 이미지 복원 모델을 활용한 제로샷 비디오 복원

DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models

July 1, 2024

저자: Chang-Han Yeh, Chin-Yang Lin, Zhixiang Wang, Chi-Wei Hsiao, Ting-Hsuan Chen, Yu-Lun Liu

cs.AI

초록

본 논문은 사전 학습된 이미지 복원 확산 모델을 활용한 제로샷 비디오 복원 방법을 소개합니다. 기존의 비디오 복원 방법들은 다양한 설정에 대해 재학습이 필요하며, 다양한 열화 유형과 데이터셋 간의 일반화에 어려움을 겪는 경우가 많습니다. 우리의 접근 방식은 키프레임과 로컬 프레임에 대한 계층적 토큰 병합 전략과, 광학 흐름과 특징 기반 최근접 이웃 매칭(잠재 병합)을 결합한 하이브리드 대응 메커니즘을 사용합니다. 우리의 방법이 제로샷 비디오 복원에서 최고의 성능을 달성할 뿐만 아니라, 다양한 데이터셋과 극단적인 열화(8배 초해상도 및 높은 표준 편차 비디오 노이즈 제거)에서 학습된 모델을 크게 능가하는 일반화 성능을 보임을 입증합니다. 다양한 도전적인 데이터셋에 대한 정량적 지표와 시각적 비교를 통해 이를 입증합니다. 또한, 우리의 기술은 어떠한 2D 복원 확산 모델과도 호환되어, 광범위한 재학습 없이도 비디오 향상 작업을 위한 다목적이고 강력한 도구를 제공합니다. 이 연구는 고품질 비디오 출력이 필요한 분야의 발전을 지원하며, 더 효율적이고 광범위하게 적용 가능한 비디오 복원 기술로 이어질 것입니다. 비디오 결과는 프로젝트 페이지(https://jimmycv07.github.io/DiffIR2VR_web/)에서 확인할 수 있습니다.

English

This paper introduces a method for zero-shot video restoration using pre-trained image restoration diffusion models. Traditional video restoration methods often need retraining for different settings and struggle with limited generalization across various degradation types and datasets. Our approach uses a hierarchical token merging strategy for keyframes and local frames, combined with a hybrid correspondence mechanism that blends optical flow and feature-based nearest neighbor matching (latent merging). We show that our method not only achieves top performance in zero-shot video restoration but also significantly surpasses trained models in generalization across diverse datasets and extreme degradations (8times super-resolution and high-standard deviation video denoising). We present evidence through quantitative metrics and visual comparisons on various challenging datasets. Additionally, our technique works with any 2D restoration diffusion model, offering a versatile and powerful tool for video enhancement tasks without extensive retraining. This research leads to more efficient and widely applicable video restoration technologies, supporting advancements in fields that require high-quality video output. See our project page for video results at https://jimmycv07.github.io/DiffIR2VR_web/.