OmniPaint: 분리된 삽입-제거 인페인팅을 통한 객체 지향 편집의 완벽한 구현

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

저자: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

초록

디퓨전 기반 생성 모델은 객체 지향 이미지 편집 분야에 혁신을 가져왔지만, 현실적인 객체 제거 및 삽입 작업에서의 활용은 물리적 효과의 복잡한 상호작용과 충분하지 않은 페어링된 학습 데이터와 같은 문제로 인해 여전히 제약을 받고 있습니다. 본 연구에서는 OmniPaint를 소개합니다. 이는 객체 제거와 삽입을 독립적인 작업이 아닌 상호 의존적인 프로세스로 재구성하는 통합 프레임워크입니다. 사전 학습된 디퓨전 프라이어와 초기 페어링된 샘플 최적화 및 CycleFlow를 통한 대규모 비페어링 정제로 구성된 점진적 학습 파이프라인을 활용함으로써, OmniPaint는 정확한 전경 제거와 원활한 객체 삽입을 달성하면서도 장면의 기하학적 구조와 내재적 특성을 충실히 보존합니다. 더불어, 본 연구에서 제안한 새로운 CFD 메트릭은 컨텍스트 일관성과 객체 환각에 대한 강력한 참조 없는 평가를 제공하여, 고품질 이미지 편집을 위한 새로운 벤치마크를 확립합니다. 프로젝트 페이지: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/