単一画像による3Dガウシアン編集

3D Gaussian Editing with A Single Image

August 14, 2024

著者: Guan Luo, Tian-Xing Xu, Ying-Tian Liu, Xiao-Xiong Fan, Fang-Lue Zhang, Song-Hai Zhang

cs.AI

要旨

現実世界からキャプチャされた3Dシーンのモデリングと操作は、さまざまなアプリケーションにおいて重要な役割を果たし、研究関心が高まっています。これまでの編集に関する研究では、3Dメッシュを操作することで興味深い結果を達成してきましたが、正確に再構築されたメッシュが必要であり、3Dコンテンツ生成における応用が制限されていました。このギャップを埋めるため、我々は3Dガウシアンスプラッティングに基づく新しい単一画像駆動型3Dシーン編集手法を提案します。この手法では、2D画像平面上で直接コンテンツを編集することで直感的な操作を可能にします。我々の手法は、元のシーンのユーザ指定視点からレンダリングされた画像の編集版に合わせて3Dガウシアンを最適化することを学習します。長距離の物体変形を捉えるために、3Dガウシアンスプラッティングの最適化プロセスに位置損失を導入し、再パラメータ化を通じて勾配伝播を可能にします。指定視点からのレンダリング時に遮蔽される3Dガウシアンを扱うため、アンカーベースの構造を構築し、構造的安定性を維持しながら長距離変形を扱える粗から細への最適化戦略を採用します。さらに、非剛体変形領域を適応的に識別するための新しいマスキング戦略を設計し、微細なモデリングを実現します。広範な実験により、我々の手法が幾何学的な詳細、長距離変形、非剛体変形を扱う上で有効であり、従来の手法と比較して優れた編集の柔軟性と品質を実現することを示しました。

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.