コード：自信を持った常微分編集

CODE: Confident Ordinary Differential Editing

August 22, 2024

著者: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

要旨

画像生成の条件付けは、シームレスな編集と写実的な画像の作成を容易にします。ただし、ノイズの多いまたは分布外（OoD）の画像に条件付けを行うことは、入力への忠実さと出力のリアリズムのバランスをとるという点で、大きな課題を抱えています。本研究では、自信を持ったOrdinary Differential Editing（CODE）という画像合成の新しいアプローチを紹介します。CODEは、OoDガイダンス画像を効果的に扱います。CODEは、拡散モデルを生成事前分布として利用し、確率フローのOrdinary Differential Equation（ODE）軌道に沿ってスコアベースの更新を行うことで画像を向上させます。この手法は、タスク固有のトレーニングや手作りのモジュール、および条件付け画像に影響を与える破壊に関する仮定を必要としません。当手法は、どの拡散モデルとも互換性があります。条件付き画像生成とブラインド画像修復の交差点に位置するCODEは、完全にブラインドな方法で動作し、事前にトレーニングされた生成モデルのみに依存します。当手法は、ブラインド修復に対する代替手法を導入します：基礎となる破壊に関する仮定に基づいた特定の真の画像を目指すのではなく、CODEは入力画像の尤度を増加させつつ忠実さを維持することを目指します。これにより、入力画像周辺の最も確からしい分布内画像が得られます。当手法の貢献は2つあります。第一に、CODEはODEに基づく新しい編集手法を導入し、そのSDEに基づく対応物と比較して、コントロール、リアリズム、および忠実さが向上します。第二に、CODEの効果を向上させる信頼区間ベースのクリッピング手法を導入します。この手法により、特定のピクセルや情報を無視することができ、ブラインドな方法で修復プロセスを向上させます。実験結果は、CODEが既存の手法よりも効果的であることを示しており、特に深刻な劣化やOoD入力が関わるシナリオにおいてその有効性が確認されています。

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.