Vertrauensvolle Bearbeitung gewöhnlicher Differentialgleichungen

CODE: Confident Ordinary Differential Editing

August 22, 2024

Autoren: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

Zusammenfassung

Die Generierung von Bildern durch Konditionierung erleichtert nahtloses Bearbeiten und die Erstellung fotorealistischer Bilder. Allerdings stellen die Konditionierung auf verrauschte oder Out-of-Distribution (OoD) Bilder erhebliche Herausforderungen dar, insbesondere bei der Balance zwischen Treue zum Eingang und Realismus des Ausgangs. Wir stellen Confident Ordinary Differential Editing (CODE) vor, einen neuartigen Ansatz für die Bildsynthese, der OoD-Leitungsbilder effektiv behandelt. Durch die Nutzung eines Diffusionsmodells als generatives Prior verbessert CODE Bilder durch scorebasierte Aktualisierungen entlang der Wahrscheinlichkeitsfluss-Ordinary Differential Equation (ODE)-Trajektorie. Diese Methode erfordert kein aufgabenspezifisches Training, keine handgefertigten Module und keine Annahmen über die Korruptionen, die das Konditionierungsbild beeinflussen. Unsere Methode ist mit jedem Diffusionsmodell kompatibel. An der Schnittstelle von bedingter Bildgenerierung und blinder Bildrestaurierung positioniert, arbeitet CODE vollständig blind und verlässt sich ausschließlich auf ein vortrainiertes generatives Modell. Unsere Methode stellt einen alternativen Ansatz zur blinden Restaurierung dar: Anstatt ein spezifisches Ground-Truth-Bild basierend auf Annahmen über die zugrunde liegende Korruption anzustreben, zielt CODE darauf ab, die Wahrscheinlichkeit des Eingangsbildes zu erhöhen, während die Treue beibehalten wird. Dies führt zu dem wahrscheinlichsten In-Distribution-Bild um das Eingangsbild herum. Unsere Beiträge sind zweifach. Erstens führt CODE eine neuartige Bearbeitungsmethode auf Basis von ODE ein, die im Vergleich zu ihrem SDE-basierten Gegenstück eine verbesserte Kontrolle, Realismus und Treue bietet. Zweitens führen wir eine Intervall-basierte Clip-Methode ein, die die Effektivität von CODE verbessert, indem sie es ermöglicht, bestimmte Pixel oder Informationen zu ignorieren und so den Restaurierungsprozess auf blinde Weise zu verbessern. Experimentelle Ergebnisse zeigen die Wirksamkeit von CODE gegenüber bestehenden Methoden, insbesondere in Szenarien mit schwerer Degradierung oder OoD-Eingaben.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.