OmniPaint : Maîtrise de l'édition orientée objet via un inpainting d'insertion-suppression désentrelacé

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

Auteurs: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

Résumé

Les modèles génératifs basés sur la diffusion ont révolutionné l'édition d'images orientée objet, mais leur déploiement pour la suppression et l'insertion réalistes d'objets reste entravé par des défis tels que l'interaction complexe des effets physiques et le manque de données d'entraînement appariées. Dans ce travail, nous présentons OmniPaint, un cadre unifié qui reconceptualise la suppression et l'insertion d'objets comme des processus interdépendants plutôt que des tâches isolées. En exploitant un modèle de diffusion pré-entraîné ainsi qu'un pipeline d'entraînement progressif comprenant une optimisation initiale sur des échantillons appariés suivie d'un raffinement à grande échelle sur des données non appariées via CycleFlow, OmniPaint réalise une élimination précise des éléments de premier plan et une insertion fluide d'objets tout en préservant fidèlement la géométrie de la scène et les propriétés intrinsèques. De plus, notre nouvelle métrique CFD offre une évaluation robuste et sans référence de la cohérence contextuelle et de l'hallucination d'objets, établissant un nouveau standard pour l'édition d'images haute fidélité. Page du projet : https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/