CODE: Modifica Confidente delle Equazioni Differenziali Ordinarie

CODE: Confident Ordinary Differential Editing

August 22, 2024

Autori: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

Abstract

La generazione condizionata di immagini facilita l'editing senza soluzione di continuità e la creazione di immagini fotorealistiche. Tuttavia, il condizionamento su immagini rumorose o fuori distribuzione (Out-of-Distribution, OoD) presenta sfide significative, in particolare nel bilanciare la fedeltà all'input e il realismo dell'output. Introduciamo Confident Ordinary Differential Editing (CODE), un approccio innovativo per la sintesi di immagini che gestisce efficacemente le immagini guida OoD. Utilizzando un modello di diffusione come prior generativo, CODE migliora le immagini attraverso aggiornamenti basati sul punteggio lungo la traiettoria dell'Equazione Differenziale Ordinaria (ODE) del flusso di probabilità. Questo metodo non richiede addestramento specifico per il compito, nessun modulo artigianale e nessuna ipotesi riguardo alle corruzioni che affliggono l'immagine condizionante. Il nostro metodo è compatibile con qualsiasi modello di diffusione. Posizionato all'intersezione tra la generazione condizionata di immagini e il restauro cieco di immagini, CODE opera in modo completamente cieco, basandosi esclusivamente su un modello generativo pre-addestrato. Il nostro metodo introduce un approccio alternativo al restauro cieco: invece di mirare a una specifica immagine di riferimento basandosi su ipotesi riguardo alla corruzione sottostante, CODE punta ad aumentare la probabilità dell'immagine di input mantenendo la fedeltà. Ciò si traduce nell'immagine più probabile all'interno della distribuzione attorno all'input. I nostri contributi sono duplici. In primo luogo, CODE introduce un metodo di editing innovativo basato su ODE, offrendo un controllo, un realismo e una fedeltà migliorati rispetto alla controparte basata su SDE. In secondo luogo, introduciamo un metodo di clipping basato su intervalli di confidenza, che migliora l'efficacia di CODE consentendogli di ignorare determinati pixel o informazioni, migliorando così il processo di restauro in modo cieco. I risultati sperimentali dimostrano l'efficacia di CODE rispetto ai metodi esistenti, in particolare negli scenari che coinvolgono degradazioni severe o input OoD.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.