CODE : Édition Confidente des Équations Différentielles Ordinaires

CODE: Confident Ordinary Differential Editing

August 22, 2024

Auteurs: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

Résumé

La génération d'images conditionnée facilite l'édition transparente et la création d'images photoréalistes. Cependant, le conditionnement sur des images bruyantes ou hors distribution (Out-of-Distribution, OoD) pose des défis importants, notamment en termes d'équilibre entre la fidélité à l'entrée et le réalisme de la sortie. Nous introduisons Confident Ordinary Differential Editing (CODE), une approche novatrice pour la synthèse d'images qui gère efficacement les images de guidage OoD. En utilisant un modèle de diffusion comme prior générateur, CODE améliore les images grâce à des mises à jour basées sur les scores le long de la trajectoire de l'Équation Différentielle Ordinaire (ODE) de flux de probabilité. Cette méthode ne nécessite pas d'entraînement spécifique à une tâche, de modules artisanaux ni d'hypothèses concernant les corruptions affectant l'image de conditionnement. Notre méthode est compatible avec n'importe quel modèle de diffusion. Positionné à l'intersection de la génération d'images conditionnée et de la restauration d'images aveugle, CODE fonctionne de manière entièrement aveugle, s'appuyant uniquement sur un modèle génératif pré-entraîné. Notre méthode introduit une approche alternative à la restauration aveugle : au lieu de cibler une image de vérité terrain spécifique basée sur des hypothèses concernant la corruption sous-jacente, CODE vise à augmenter la probabilité de l'image d'entrée tout en maintenant la fidélité. Cela aboutit à l'image la plus probable dans la distribution autour de l'entrée. Nos contributions sont doubles. Premièrement, CODE introduit une méthode d'édition novatrice basée sur les ODE, offrant un contrôle amélioré, un réalisme et une fidélité supérieurs par rapport à son homologue basé sur les SDE. Deuxièmement, nous introduisons une méthode de rognage basée sur l'intervalle de confiance, qui améliore l'efficacité de CODE en lui permettant d'ignorer certains pixels ou informations, améliorant ainsi le processus de restauration de manière aveugle. Les résultats expérimentaux démontrent l'efficacité de CODE par rapport aux méthodes existantes, notamment dans les scénarios impliquant une dégradation sévère ou des entrées OoD.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.