OmniPaint: Meesterschap in Objectgeoriënteerde Bewerking via Ontvlochten Invoeg-Verwijder Inpainting

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

Auteurs: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

Samenvatting

Diffusiegebaseerde generatieve modellen hebben een revolutie teweeggebracht in objectgerichte beeldbewerking, maar hun inzet voor realistische objectverwijdering en -invoeging wordt nog steeds belemmerd door uitdagingen zoals de complexe interactie van fysische effecten en onvoldoende gepaarde trainingsdata. In dit werk introduceren we OmniPaint, een uniform raamwerk dat objectverwijdering en -invoeging herdefinieert als onderling afhankelijke processen in plaats van geïsoleerde taken. Door gebruik te maken van een vooraf getraind diffusieprior en een progressieve trainingspijplijn die bestaat uit initiële optimalisatie van gepaarde voorbeelden en daaropvolgende grootschalige verfijning van ongepaarde data via CycleFlow, bereikt OmniPaint nauwkeurige voorgrondeliminatie en naadloze objectinvoeging, waarbij de scènegeometrie en intrinsieke eigenschappen trouw worden behouden. Bovendien biedt onze nieuwe CFD-metric een robuuste, referentievrije evaluatie van contextconsistentie en objecthallucinatie, waarmee een nieuwe standaard wordt gevestigd voor hoogwaardige beeldbewerking. Projectpagina: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/