StyleSplat: 3D Object Stijloverdracht met Gaussisch Splatten

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

Auteurs: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

Samenvatting

Recente ontwikkelingen in radiance fields hebben nieuwe mogelijkheden geopend voor het creëren van hoogwaardige 3D-assets en scènes. Stijloverdracht kan deze 3D-assets verrijken met diverse artistieke stijlen, wat de creatieve expressie transformeert. Bestaande technieken zijn echter vaak traag of niet in staat om stijloverdracht te lokaliseren naar specifieke objecten. Wij introduceren StyleSplat, een lichtgewicht methode voor het styliseren van 3D-objecten in scènes die worden gerepresenteerd door 3D Gaussians op basis van referentiestijlafbeeldingen. Onze aanpak leert eerst een fotorealistische representatie van de scène met behulp van 3D Gaussian splatting, terwijl tegelijkertijd individuele 3D-objecten worden gesegmenteerd. Vervolgens gebruiken we een nearest-neighbor feature matching loss om de Gaussians van de geselecteerde objecten te finetunen, waarbij hun sferische harmonische coëfficiënten worden afgestemd op de stijlafbeelding om consistentie en visuele aantrekkingskracht te waarborgen. StyleSplat maakt snelle, aanpasbare stijloverdracht en gelokaliseerde stylisatie van meerdere objecten binnen een scène mogelijk, elk met een andere stijl. We demonstreren de effectiviteit ervan in diverse 3D-scènes en stijlen, waarbij verbeterde controle en aanpassingsmogelijkheden in 3D-creatie worden getoond.

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.