Código: Edición Confiable de Ecuaciones Diferenciales Ordinarias

CODE: Confident Ordinary Differential Editing

August 22, 2024

Autores: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

Resumen

La generación de imágenes condicionada facilita la edición fluida y la creación de imágenes fotorrealistas. Sin embargo, condicionar imágenes ruidosas o fuera de distribución (Out-of-Distribution, OoD) plantea desafíos significativos, especialmente en el equilibrio entre la fidelidad a la entrada y el realismo de la salida. Presentamos Confident Ordinary Differential Editing (CODE), un enfoque novedoso para la síntesis de imágenes que maneja de manera efectiva imágenes guía OoD. Utilizando un modelo de difusión como prior generativo, CODE mejora las imágenes a través de actualizaciones basadas en puntuaciones a lo largo de la trayectoria de la Ecuación Diferencial Ordinaria (ODE) de flujo de probabilidad. Este método no requiere entrenamiento específico de tareas, módulos hechos a mano ni suposiciones sobre las corrupciones que afectan la imagen de condicionamiento. Nuestro método es compatible con cualquier modelo de difusión. Situado en la intersección de la generación de imágenes condicionada y la restauración de imágenes a ciegas, CODE opera de manera totalmente ciega, confiando únicamente en un modelo generativo pre-entrenado. Nuestro método presenta un enfoque alternativo para la restauración a ciegas: en lugar de apuntar a una imagen de verdad específica basada en suposiciones sobre la corrupción subyacente, CODE tiene como objetivo aumentar la probabilidad de la imagen de entrada manteniendo la fidelidad. Esto resulta en la imagen más probable dentro de la distribución alrededor de la imagen de entrada. Nuestras contribuciones son dobles. En primer lugar, CODE introduce un método de edición novedoso basado en ODE, que proporciona un control, realismo y fidelidad mejorados en comparación con su contraparte basada en SDE. En segundo lugar, presentamos un método de recorte basado en intervalos de confianza, que mejora la efectividad de CODE al permitirle ignorar ciertos píxeles o información, mejorando así el proceso de restauración de manera ciega. Los resultados experimentales demuestran la efectividad de CODE sobre los métodos existentes, especialmente en escenarios que involucran degradación severa o entradas OoD.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.