Восстановление путем генерации с ограниченными априорными условиями

Restoration by Generation with Constrained Priors

December 28, 2023

Авторы: Zheng Ding, Xuaner Zhang, Zhuowen Tu, Zhihao Xia

cs.AI

Аннотация

Врожденная генеративная способность моделей диффузии с удалением шума делает их хорошо подходящими для задач восстановления изображений, где цель заключается в нахождении оптимального высококачественного изображения в генеративном пространстве, которое максимально близко соответствует входному изображению. Мы предлагаем метод адаптации предварительно обученной модели диффузии для восстановления изображений путем простого добавления шума к входному изображению, которое требуется восстановить, и последующего удаления шума. Наш метод основан на наблюдении, что пространство генеративной модели необходимо ограничить. Мы накладываем это ограничение путем тонкой настройки генеративной модели с использованием набора опорных изображений, которые отражают характеристики входного изображения. С ограниченным пространством мы можем затем использовать стратегию выборки, применяемую для генерации, для выполнения восстановления изображений. Мы сравниваем наш метод с предыдущими подходами и демонстрируем превосходные результаты на нескольких наборах данных для восстановления реальных изображений с точки зрения сохранения идентичности и качества изображения. Мы также показываем важное и практическое применение персонализированного восстановления, где в качестве опорных изображений используется личный альбом для ограничения генеративного пространства. Этот подход позволяет нам получать результаты, которые точно сохраняют высокочастотные детали, что недоступно в предыдущих работах. Веб-страница проекта: https://gen2res.github.io.

English

The inherent generative power of denoising diffusion models makes them well-suited for image restoration tasks where the objective is to find the optimal high-quality image within the generative space that closely resembles the input image. We propose a method to adapt a pretrained diffusion model for image restoration by simply adding noise to the input image to be restored and then denoise. Our method is based on the observation that the space of a generative model needs to be constrained. We impose this constraint by finetuning the generative model with a set of anchor images that capture the characteristics of the input image. With the constrained space, we can then leverage the sampling strategy used for generation to do image restoration. We evaluate against previous methods and show superior performances on multiple real-world restoration datasets in preserving identity and image quality. We also demonstrate an important and practical application on personalized restoration, where we use a personal album as the anchor images to constrain the generative space. This approach allows us to produce results that accurately preserve high-frequency details, which previous works are unable to do. Project webpage: https://gen2res.github.io.