3D Gaussiaanse Bewerking met een Enkele Afbeelding

Samenvatting

Het modelleren en manipuleren van 3D-scènes die uit de echte wereld zijn vastgelegd, is cruciaal in diverse toepassingen en trekt steeds meer onderzoeksinteresse. Hoewel eerdere werken over bewerking interessante resultaten hebben bereikt door het manipuleren van 3D-meshes, vereisen ze vaak nauwkeurig gereconstrueerde meshes om bewerkingen uit te voeren, wat hun toepassing in 3D-contentgeneratie beperkt. Om deze kloof te overbruggen, introduceren we een nieuwe aanpak voor 3D-scènebewerking op basis van 3D Gaussian Splatting, aangedreven door een enkele afbeelding, waardoor intuïtieve manipulatie mogelijk wordt via directe bewerking van de inhoud op een 2D-beeldvlak. Onze methode leert om de 3D-Gaussians te optimaliseren zodat ze overeenkomen met een bewerkte versie van de afbeelding die vanuit een door de gebruiker gespecificeerd gezichtspunt van de oorspronkelijke scène wordt gerenderd. Om langetermijnobjectvervorming vast te leggen, introduceren we positioneel verlies in het optimalisatieproces van 3D Gaussian Splatting en maken we gradientpropagatie mogelijk door herparameterisatie. Om verborgen 3D-Gaussians te behandelen bij het renderen vanuit het gespecificeerde gezichtspunt, bouwen we een ankergebaseerde structuur en gebruiken we een grof-naar-fijn optimalisatiestrategie die in staat is om langetermijnvervorming te hanteren terwijl structurele stabiliteit behouden blijft. Bovendien ontwerpen we een nieuwe maskerstrategie om adaptief niet-rigide vervormingsgebieden te identificeren voor fijnschalige modellering. Uitgebreide experimenten tonen de effectiviteit van onze methode aan in het omgaan met geometrische details, langetermijn- en niet-rigide vervorming, en demonstreren superieure bewerkingsflexibiliteit en kwaliteit in vergelijking met eerdere benaderingen.

English

The modeling and manipulation of 3D scenes captured from the real world are pivotal in various applications, attracting growing research interest. While previous works on editing have achieved interesting results through manipulating 3D meshes, they often require accurately reconstructed meshes to perform editing, which limits their application in 3D content generation. To address this gap, we introduce a novel single-image-driven 3D scene editing approach based on 3D Gaussian Splatting, enabling intuitive manipulation via directly editing the content on a 2D image plane. Our method learns to optimize the 3D Gaussians to align with an edited version of the image rendered from a user-specified viewpoint of the original scene. To capture long-range object deformation, we introduce positional loss into the optimization process of 3D Gaussian Splatting and enable gradient propagation through reparameterization. To handle occluded 3D Gaussians when rendering from the specified viewpoint, we build an anchor-based structure and employ a coarse-to-fine optimization strategy capable of handling long-range deformation while maintaining structural stability. Furthermore, we design a novel masking strategy to adaptively identify non-rigid deformation regions for fine-scale modeling. Extensive experiments show the effectiveness of our method in handling geometric details, long-range, and non-rigid deformation, demonstrating superior editing flexibility and quality compared to previous approaches.

3D Gaussiaanse Bewerking met een Enkele Afbeelding

3D Gaussian Editing with A Single Image

Samenvatting

Support