Código: Edição de Equações Diferenciais Ordinárias Confiante

CODE: Confident Ordinary Differential Editing

August 22, 2024

Autores: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

Resumo

A geração condicionada de imagens facilita a edição contínua e a criação de imagens fotorrealistas. No entanto, a condicionação em imagens ruidosas ou Fora da Distribuição (OoD) apresenta desafios significativos, especialmente na busca por equilibrar a fidelidade à entrada e o realismo da saída. Apresentamos o Confident Ordinary Differential Editing (CODE), uma abordagem inovadora para síntese de imagens que lida efetivamente com imagens de orientação OoD. Utilizando um modelo de difusão como um prior generativo, o CODE aprimora imagens por meio de atualizações baseadas em pontuações ao longo da trajetória da Equação Diferencial Ordinária (ODE) do fluxo de probabilidade. Este método não requer treinamento específico da tarefa, módulos feitos à mão ou pressupostos sobre as corrupções que afetam a imagem de condicionamento. Nosso método é compatível com qualquer modelo de difusão. Posicionado na interseção da geração condicionada de imagens e restauração cega de imagens, o CODE opera de forma totalmente cega, dependendo exclusivamente de um modelo generativo pré-treinado. Nosso método introduz uma abordagem alternativa para restauração cega: em vez de visar uma imagem de verdade específica com base em pressupostos sobre a corrupção subjacente, o CODE visa aumentar a probabilidade da imagem de entrada mantendo a fidelidade. Isso resulta na imagem mais provável dentro da distribuição em torno da imagem de entrada. Nossas contribuições são duplas. Primeiramente, o CODE introduz um método de edição inovador baseado em ODE, proporcionando controle aprimorado, realismo e fidelidade em comparação com seu equivalente baseado em SDE. Em segundo lugar, introduzimos um método de recorte baseado em intervalo de confiança, que melhora a eficácia do CODE permitindo que ele desconsidere certos pixels ou informações, aprimorando assim o processo de restauração de forma cega. Resultados experimentais demonstram a eficácia do CODE sobre métodos existentes, especialmente em cenários envolvendo degradação severa ou entradas OoD.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.