3D-Gaußsche Bearbeitung mit einem einzigen Bild

3D Gaussian Editing with A Single Image

August 14, 2024

Autoren: Guan Luo, Tian-Xing Xu, Ying-Tian Liu, Xiao-Xiong Fan, Fang-Lue Zhang, Song-Hai Zhang

cs.AI

Zusammenfassung

Die Modellierung und Manipulation von 3D-Szenen, die aus der realen Welt erfasst wurden, sind in verschiedenen Anwendungen entscheidend und ziehen zunehmendes Forschungsinteresse auf sich. Während frühere Arbeiten zur Bearbeitung interessante Ergebnisse durch die Manipulation von 3D-Meshes erzielt haben, erfordern sie oft genau rekonstruierte Meshes, um Bearbeitungen durchführen zu können, was ihre Anwendung bei der Generierung von 3D-Inhalten einschränkt. Um diese Lücke zu schließen, stellen wir einen neuartigen, von einem Einzelbild gesteuerten Ansatz zur 3D-Szenenbearbeitung auf der Grundlage von 3D-Gauß-Splatting vor, der eine intuitive Manipulation ermöglicht, indem der Inhalt direkt auf einer 2D-Bildebene bearbeitet wird. Unsere Methode lernt, die 3D-Gaußschen so zu optimieren, dass sie mit einer bearbeiteten Version des Bildes übereinstimmen, das aus einem vom Benutzer festgelegten Blickwinkel der Originalszene gerendert wurde. Um Verformungen von Objekten über große Entfernungen zu erfassen, führen wir einen Positionsverlust in den Optimierungsprozess des 3D-Gauß-Splattings ein und ermöglichen die Gradientenpropagation durch Reparametrisierung. Um mit verdeckten 3D-Gaußschen bei der Darstellung aus dem festgelegten Blickwinkel umzugehen, bauen wir eine ankerbasierte Struktur auf und verwenden eine Grob-zu-Fein-Optimierungsstrategie, die in der Lage ist, Verformungen über große Entfernungen zu bewältigen, während die strukturelle Stabilität erhalten bleibt. Darüber hinaus entwerfen wir eine neuartige Maskierungsstrategie, um anpassungsfähig nichtstarre Verformungsbereiche für die Modellierung im Feinmaßstab zu identifizieren. Umfangreiche Experimente zeigen die Wirksamkeit unserer Methode bei der Bewältigung geometrischer Details, Verformungen über große Entfernungen und nichtstarren Verformungen und demonstrieren eine überlegene Bearbeitungsflexibilität und -qualität im Vergleich zu früheren Ansätzen.

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.