제약된 사전 정보를 활용한 세대별 복원

초록

노이즈 제거 확산 모델(denoising diffusion models)의 내재된 생성 능력은 입력 이미지와 가장 유사한 최적의 고품질 이미지를 생성 공간에서 찾는 것을 목표로 하는 이미지 복원 작업에 매우 적합하다. 본 연구에서는 사전 학습된 확산 모델을 이미지 복원에 적용하기 위해, 복원할 입력 이미지에 노이즈를 추가한 후 이를 제거하는 간단한 방법을 제안한다. 이 방법은 생성 모델의 공간이 제약되어야 한다는 관찰에 기반을 두고 있다. 우리는 입력 이미지의 특성을 포착하는 앵커 이미지 세트를 사용하여 생성 모델을 미세 조정함으로써 이러한 제약을 부과한다. 제약된 공간을 통해 생성에 사용되는 샘플링 전략을 활용하여 이미지 복원을 수행할 수 있다. 우리는 기존 방법들과 비교 평가를 통해 여러 실제 복원 데이터셋에서 신원과 이미지 품질을 보존하는 데 있어 우수한 성능을 보여준다. 또한, 개인화된 복원의 중요한 실용적 응용을 보여주는데, 여기서 개인 앨범을 앵커 이미지로 사용하여 생성 공간을 제약한다. 이 접근법은 이전 연구들이 달성하지 못한 고주파 세부 사항을 정확하게 보존하는 결과를 생성할 수 있게 한다. 프로젝트 웹페이지: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.

제약된 사전 정보를 활용한 세대별 복원

Restoration by Generation with Constrained Priors

초록

Support