ObjFiller-3D: ビデオ拡散モデルによる一貫性のあるマルチビュー3Dインペインティング

ObjFiller-3D: Consistent Multi-view 3D Inpainting via Video Diffusion Models

August 25, 2025

著者: Haitang Feng, Jie Liu, Jie Tang, Gangshan Wu, Beiqi Chen, Jianhuang Lai, Guangcong Wang

cs.AI

要旨

3Dインペインティングは、多くの場合、マルチビュー2D画像インペインティングに依存していますが、異なるビュー間でインペイントされた領域に内在する不整合は、ぼやけたテクスチャ、空間的な不連続性、および目立つ視覚的アーティファクトを引き起こす可能性があります。これらの不整合は、特に高忠実度と構造的一貫性を要求するアプリケーションにおいて、正確でリアルな3Dオブジェクトの完成を目指す際に重大な課題を提起します。これらの制限を克服するために、我々はObjFiller-3Dを提案します。これは、高品質で一貫性のある3Dオブジェクトの完成と編集のために設計された新しい手法です。従来の2D画像インペインティングモデルを使用する代わりに、我々のアプローチは、最先端のビデオ編集モデルを厳選して使用し、3Dオブジェクトのマスクされた領域を埋めます。我々は、3Dとビデオの間の表現のギャップを分析し、3Dシーンインペインティングのためのビデオインペインティングモデルの適応を提案します。さらに、再構築の品質をさらに向上させるために、参照ベースの3Dインペインティング手法を導入します。多様なデータセットでの実験により、ObjFiller-3Dは、以前の手法と比較して、より忠実で細かい再構築を生成することが示されました（PSNR 26.6 vs. NeRFiller (15.9)、LPIPS 0.19 vs. Instant3dit (0.25)）。さらに、実世界の3D編集アプリケーションでの実用的な展開においても強い可能性を示しています。プロジェクトページ: https://objfiller3d.github.io/ コード: https://github.com/objfiller3d/ObjFiller-3D

English

3D inpainting often relies on multi-view 2D image inpainting, where the inherent inconsistencies across different inpainted views can result in blurred textures, spatial discontinuities, and distracting visual artifacts. These inconsistencies pose significant challenges when striving for accurate and realistic 3D object completion, particularly in applications that demand high fidelity and structural coherence. To overcome these limitations, we propose ObjFiller-3D, a novel method designed for the completion and editing of high-quality and consistent 3D objects. Instead of employing a conventional 2D image inpainting model, our approach leverages a curated selection of state-of-the-art video editing model to fill in the masked regions of 3D objects. We analyze the representation gap between 3D and videos, and propose an adaptation of a video inpainting model for 3D scene inpainting. In addition, we introduce a reference-based 3D inpainting method to further enhance the quality of reconstruction. Experiments across diverse datasets show that compared to previous methods, ObjFiller-3D produces more faithful and fine-grained reconstructions (PSNR of 26.6 vs. NeRFiller (15.9) and LPIPS of 0.19 vs. Instant3dit (0.25)). Moreover, it demonstrates strong potential for practical deployment in real-world 3D editing applications. Project page: https://objfiller3d.github.io/ Code: https://github.com/objfiller3d/ObjFiller-3D .