StyleSplat: 3D-Objekt-Stiltransfer mit Gauss'schem Splatting

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

Autoren: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

Zusammenfassung

Neueste Fortschritte bei Strahlungsfeldern haben neue Möglichkeiten zur Erstellung hochwertiger 3D-Assets und Szenen eröffnet. Stiltransfer kann diese 3D-Assets mit vielfältigen künstlerischen Stilen verbessern und so den kreativen Ausdruck transformieren. Allerdings sind bestehende Techniken oft langsam oder können den Stiltransfer nicht auf bestimmte Objekte lokal begrenzen. Wir stellen StyleSplat vor, eine leichte Methode zur Stilisierung von 3D-Objekten in Szenen, die durch 3D-Gaußsche Funktionen aus Referenzstilbildern dargestellt werden. Unser Ansatz lernt zunächst eine fotorealistische Darstellung der Szene unter Verwendung von 3D-Gaußschem Splatting und segmentiert gleichzeitig einzelne 3D-Objekte. Anschließend verwenden wir einen Verlust durch Feature-Matching mit dem nächstgelegenen Nachbarn, um die Gaußschen Funktionen der ausgewählten Objekte feinzustimmen, indem ihre sphärischen harmonischen Koeffizienten mit dem Stilbild abgeglichen werden, um Konsistenz und visuellen Reiz sicherzustellen. StyleSplat ermöglicht schnellen, anpassbaren Stiltransfer und lokalisierte Stilisierung mehrerer Objekte innerhalb einer Szene, jeweils mit einem anderen Stil. Wir zeigen seine Wirksamkeit in verschiedenen 3D-Szenen und Stilen und präsentieren eine verbesserte Steuerung und Anpassung bei der 3D-Erstellung.

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.