OmniPaint: Padroneggiare l'editing orientato agli oggetti tramite inpaintig di inserimento-rimozione disaccoppiato

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

Autori: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

Abstract

I modelli generativi basati su diffusione hanno rivoluzionato l'editing di immagini orientato agli oggetti, ma il loro impiego nella rimozione e inserimento realistico di oggetti rimane ostacolato da sfide come l'intricata interazione di effetti fisici e la carenza di dati di training accoppiati. In questo lavoro, introduciamo OmniPaint, un framework unificato che ridefinisce la rimozione e l'inserimento di oggetti come processi interdipendenti piuttosto che come compiti isolati. Sfruttando un modello di diffusione pre-addestrato insieme a una pipeline di training progressiva che comprende un'ottimizzazione iniziale su campioni accoppiati e un successivo affinamento su larga scala tramite CycleFlow, OmniPaint ottiene un'eliminazione precisa del primo piano e un'inserimento di oggetti senza soluzione di continuità, preservando fedelmente la geometria della scena e le proprietà intrinseche. Inoltre, la nostra nuova metrica CFD offre una valutazione robusta e senza riferimento della coerenza contestuale e dell'allucinazione di oggetti, stabilendo un nuovo punto di riferimento per l'editing di immagini ad alta fedeltà. Pagina del progetto: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/