CODE: Zelfverzekerde Gewone Differentiaalvergelijking Bewerking

CODE: Confident Ordinary Differential Editing

August 22, 2024

Auteurs: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

Samenvatting

Het conditioneren van beeldgeneratie maakt naadloze bewerking en het creëren van fotorealistische beelden mogelijk. Het conditioneren op ruisachtige of Out-of-Distribution (OoD) beelden brengt echter aanzienlijke uitdagingen met zich mee, vooral in het balanceren van trouw aan de invoer en realisme van de uitvoer. Wij introduceren Confident Ordinary Differential Editing (CODE), een nieuwe benadering voor beeldgeneratie die effectief omgaat met OoD-stuurbeelden. Door een diffusiemodel te gebruiken als een generatieve prior, verbetert CODE beelden via score-gebaseerde updates langs de waarschijnlijkheidsstroom van de Ordinary Differential Equation (ODE) traject. Deze methode vereist geen taakspecifieke training, geen handgemaakte modules en geen aannames over de corrupties die het conditionerende beeld beïnvloeden. Onze methode is compatibel met elk diffusiemodel. Geplaatst op het snijvlak van conditionele beeldgeneratie en blinde beeldrestauratie, opereert CODE op een volledig blinde manier, waarbij het enkel vertrouwt op een vooraf getraind generatief model. Onze methode introduceert een alternatieve benadering voor blinde restauratie: in plaats van te mikken op een specifiek grondwaarheidsbeeld gebaseerd op aannames over de onderliggende corruptie, streeft CODE ernaar de waarschijnlijkheid van het invoerbeeld te verhogen terwijl de trouw behouden blijft. Dit resulteert in het meest waarschijnlijke in-distributiebeeld rond de invoer. Onze bijdragen zijn tweeledig. Ten eerste introduceert CODE een nieuwe bewerkingsmethode gebaseerd op ODE, die verbeterde controle, realisme en trouw biedt in vergelijking met zijn SDE-gebaseerde tegenhanger. Ten tweede introduceren we een op betrouwbaarheidsintervallen gebaseerde clipping-methode, die de effectiviteit van CODE verbetert door het mogelijk te maken bepaalde pixels of informatie te negeren, waardoor het restauratieproces op een blinde manier wordt verbeterd. Experimentele resultaten tonen de effectiviteit van CODE aan ten opzichte van bestaande methoden, vooral in scenario's met ernstige degradatie of OoD-invoer.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.