OmniPaint: Dominando a Edição Orientada a Objetos por meio de Inpaint Desacoplado de Inserção-Remoção

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

Autores: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

Resumo

Modelos generativos baseados em difusão revolucionaram a edição de imagens orientada a objetos, mas sua aplicação em remoção e inserção realista de objetos ainda enfrenta desafios, como a complexa interação de efeitos físicos e a insuficiência de dados de treinamento pareados. Neste trabalho, apresentamos o OmniPaint, um framework unificado que reconceitualiza a remoção e a inserção de objetos como processos interdependentes, em vez de tarefas isoladas. Aproveitando um prior de difusão pré-treinado e um pipeline de treinamento progressivo que inclui otimização inicial de amostras pareadas e refinamento em larga escala não pareado via CycleFlow, o OmniPaint alcança a eliminação precisa de objetos em primeiro plano e a inserção perfeita de objetos, preservando fielmente a geometria da cena e as propriedades intrínsecas. Além disso, nossa nova métrica CFD oferece uma avaliação robusta e sem referência da consistência contextual e da alucinação de objetos, estabelecendo um novo padrão para edição de imagens de alta fidelidade. Página do projeto: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/