OmniPaint: Освоение объектно-ориентированного редактирования через разделяемое восстановление с вставкой и удалением

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

Авторы: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

Аннотация

Диффузионные генеративные модели произвели революцию в объектно-ориентированном редактировании изображений, однако их применение для реалистичного удаления и вставки объектов по-прежнему ограничено такими проблемами, как сложное взаимодействие физических эффектов и недостаток парных обучающих данных. В данной работе мы представляем OmniPaint — унифицированную структуру, которая переосмысливает удаление и вставку объектов как взаимосвязанные процессы, а не изолированные задачи. Используя предобученный диффузионный приор и прогрессивный обучающий конвейер, включающий оптимизацию на начальных парных образцах и последующую масштабную доработку на непарных данных с помощью CycleFlow, OmniPaint достигает точного удаления переднего плана и бесшовной вставки объектов, при этом сохраняя геометрию сцены и её внутренние свойства. Кроме того, наш новый метрический показатель CFD предлагает надежную, не требующую эталонов оценку согласованности контекста и генерации объектов, устанавливая новый стандарт для высококачественного редактирования изображений. Страница проекта: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/