코드: 확신 있는 상미분 편집

CODE: Confident Ordinary Differential Editing

August 22, 2024

저자: Bastien van Delft, Tommaso Martorella, Alexandre Alahi

cs.AI

초록

이미지 생성 조건부 처리는 편집을 원활하게 하고 사실적인 이미지를 만드는 데 도움이 됩니다. 그러나 소음이 많거나 분포 밖(OoD)에 있는 이미지에 대한 조건부 처리는 입력의 충실성과 출력의 현실성을 균형있게 유지하는 데 어려움을 겪습니다. 우리는 Confident Ordinary Differential Editing (CODE)이라는 이미지 합성을 위한 혁신적인 접근 방식을 소개합니다. 이 방법은 OoD 가이드 이미지를 효과적으로 처리합니다. 생성적 사전으로 확산 모델을 활용하여, CODE는 확률 흐름 상의 Ordinary Differential Equation (ODE) 경로를 따라 점수 기반 업데이트를 통해 이미지를 향상시킵니다. 이 방법은 특정 작업에 대한 훈련이 필요하지 않으며, 수작업 모듈이나 조건부 이미지에 영향을 미치는 손상에 대한 가정이 필요하지 않습니다. 우리의 방법은 모든 확산 모델과 호환됩니다. 조건부 이미지 생성과 블라인드 이미지 복원의 교차점에 위치한 CODE는 사전 훈련된 생성 모델에만 의존하여 완전히 블라인드 방식으로 작동합니다. 우리의 방법은 블라인드 복원에 대한 대안적 접근 방식을 제시합니다: 기본 손상에 대한 가정을 기반으로 특정 참 값 이미지를 대상으로 하는 대신, CODE는 충실성을 유지하면서 입력 이미지의 가능성을 높이려고 합니다. 이로써 입력 주변에서 가장 가능성이 높은 분포 내 이미지가 생성됩니다. 우리의 기여는 두 가지입니다. 첫째, CODE는 ODE를 기반으로 한 혁신적인 편집 방법을 소개하여 SDE 기반 대비 향상된 제어, 현실성 및 충실성을 제공합니다. 둘째, 우리는 CODE의 효과를 향상시키는 신뢰 구간 기반 클리핑 방법을 소개합니다. 이 방법은 특정 픽셀이나 정보를 무시하도록 허용하여 블라인드 방식으로 복원 프로세스를 향상시킵니다. 실험 결과는 CODE가 기존 방법보다 효과적임을 입증하며, 특히 심각한 저하 또는 OoD 입력이 포함된 시나리오에서 그 효과를 보여줍니다.

English

Conditioning image generation facilitates seamless editing and the creation of photorealistic images. However, conditioning on noisy or Out-of-Distribution (OoD) images poses significant challenges, particularly in balancing fidelity to the input and realism of the output. We introduce Confident Ordinary Differential Editing (CODE), a novel approach for image synthesis that effectively handles OoD guidance images. Utilizing a diffusion model as a generative prior, CODE enhances images through score-based updates along the probability-flow Ordinary Differential Equation (ODE) trajectory. This method requires no task-specific training, no handcrafted modules, and no assumptions regarding the corruptions affecting the conditioning image. Our method is compatible with any diffusion model. Positioned at the intersection of conditional image generation and blind image restoration, CODE operates in a fully blind manner, relying solely on a pre-trained generative model. Our method introduces an alternative approach to blind restoration: instead of targeting a specific ground truth image based on assumptions about the underlying corruption, CODE aims to increase the likelihood of the input image while maintaining fidelity. This results in the most probable in-distribution image around the input. Our contributions are twofold. First, CODE introduces a novel editing method based on ODE, providing enhanced control, realism, and fidelity compared to its SDE-based counterpart. Second, we introduce a confidence interval-based clipping method, which improves CODE's effectiveness by allowing it to disregard certain pixels or information, thus enhancing the restoration process in a blind manner. Experimental results demonstrate CODE's effectiveness over existing methods, particularly in scenarios involving severe degradation or OoD inputs.