OmniPaint: Dominando la edición orientada a objetos mediante la inserción-eliminación desacoplada en la restauración de imágenes

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

Autores: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

Resumen

Los modelos generativos basados en difusión han revolucionado la edición de imágenes orientada a objetos, pero su implementación en la eliminación e inserción realista de objetos sigue enfrentando desafíos, como la compleja interacción de efectos físicos y la insuficiencia de datos de entrenamiento emparejados. En este trabajo, presentamos OmniPaint, un marco unificado que reconceptualiza la eliminación e inserción de objetos como procesos interdependientes en lugar de tareas aisladas. Al aprovechar un modelo de difusión preentrenado junto con una canalización de entrenamiento progresivo que incluye la optimización inicial de muestras emparejadas y un refinamiento posterior a gran escala mediante CycleFlow, OmniPaint logra una eliminación precisa del primer plano y una inserción de objetos sin costuras, preservando fielmente la geometría de la escena y las propiedades intrínsecas. Además, nuestra nueva métrica CFD ofrece una evaluación robusta y sin referencia de la consistencia contextual y la alucinación de objetos, estableciendo un nuevo estándar para la edición de imágenes de alta fidelidad. Página del proyecto: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/