OmniPaint：分離型挿入-除去インペインティングによるオブジェクト指向編集のマスタリング

OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting

March 11, 2025

著者: Yongsheng Yu, Ziyun Zeng, Haitian Zheng, Jiebo Luo

cs.AI

要旨

拡散モデルに基づく生成モデルは、オブジェクト指向の画像編集に革命をもたらしましたが、現実世界のオブジェクト削除や挿入への適用は、物理効果の複雑な相互作用や十分なペア訓練データの不足といった課題に阻まれています。本研究では、OmniPaintという統一フレームワークを提案します。このフレームワークは、オブジェクト削除と挿入を独立したタスクではなく、相互依存的なプロセスとして再定義します。事前学習済みの拡散モデルを活用し、初期のペアサンプル最適化とCycleFlowによる大規模な非ペア精緻化を含む段階的な訓練パイプラインを採用することで、OmniPaintは前景の正確な除去とシームレスなオブジェクト挿入を実現し、シーンジオメトリーや固有特性を忠実に保持します。さらに、我々の新しいCFDメトリックは、コンテキストの一貫性とオブジェクトの幻覚を参照なしで堅牢に評価し、高忠実度画像編集の新たなベンチマークを確立します。プロジェクトページ: https://yeates.github.io/OmniPaint-Page/

English

Diffusion-based generative models have revolutionized object-oriented image editing, yet their deployment in realistic object removal and insertion remains hampered by challenges such as the intricate interplay of physical effects and insufficient paired training data. In this work, we introduce OmniPaint, a unified framework that re-conceptualizes object removal and insertion as interdependent processes rather than isolated tasks. Leveraging a pre-trained diffusion prior along with a progressive training pipeline comprising initial paired sample optimization and subsequent large-scale unpaired refinement via CycleFlow, OmniPaint achieves precise foreground elimination and seamless object insertion while faithfully preserving scene geometry and intrinsic properties. Furthermore, our novel CFD metric offers a robust, reference-free evaluation of context consistency and object hallucination, establishing a new benchmark for high-fidelity image editing. Project page: https://yeates.github.io/OmniPaint-Page/