КОД: Уверенное редактирование обыкновенных дифференциальных уравнений

CODE: Confident Ordinary Differential Editing

August 22, 2024

Авторы: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

Аннотация

Генерация изображений с условиями облегчает безшовное редактирование и создание фотореалистичных изображений. Однако использование шумных или вне диапазона (Out-of-Distribution, OoD) изображений в качестве условий представляет существенные трудности, особенно в балансировке точности входных данных и реализма выходных данных. Мы представляем метод Confident Ordinary Differential Editing (CODE), новый подход к синтезу изображений, который эффективно обрабатывает OoD руководящие изображения. Используя модель диффузии в качестве генеративного априорного распределения, CODE улучшает изображения с помощью обновлений на основе оценки вдоль траектории обыкновенного дифференциального уравнения (ODE) потока вероятности. Этот метод не требует обучения, специфичного для задачи, ручных модулей и предположений относительно искажений, влияющих на условное изображение. Наш метод совместим с любой моделью диффузии. Расположенный на пересечении условной генерации изображений и слепого восстановления изображений, CODE работает полностью слепо, полагаясь исключительно на предварительно обученную генеративную модель. Наш метод представляет альтернативный подход к слепому восстановлению: вместо того чтобы нацеливаться на конкретное истинное изображение на основе предположений о лежащих в основе искажениях, CODE стремится увеличить вероятность входного изображения, сохраняя при этом точность. Это приводит к наиболее вероятному изображению в диапазоне входных данных. Наши вклады двойные. Во-первых, CODE представляет собой новый метод редактирования на основе ODE, обеспечивающий улучшенный контроль, реализм и точность по сравнению с его аналогом на основе SDE. Во-вторых, мы представляем метод обрезки на основе доверительного интервала, который улучшает эффективность CODE, позволяя ему игнорировать определенные пиксели или информацию, тем самым улучшая процесс восстановления слепым образом. Экспериментальные результаты демонстрируют эффективность CODE по сравнению с существующими методами, особенно в сценариях с серьезным ухудшением или входными данными вне диапазона.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.