StyleSplat: Trasferimento di Stile per Oggetti 3D con Gaussian Splatting

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

Autori: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

Abstract

I recenti progressi nei campi di radianza hanno aperto nuove strade per la creazione di asset e scene 3D di alta qualità. Il trasferimento di stile può arricchire questi asset 3D con una varietà di stili artistici, trasformando l'espressione creativa. Tuttavia, le tecniche esistenti sono spesso lente o incapaci di localizzare il trasferimento di stile su oggetti specifici. Introduciamo StyleSplat, un metodo leggero per stilizzare oggetti 3D in scene rappresentate da Gaussiane 3D a partire da immagini di stile di riferimento. Il nostro approccio apprende prima una rappresentazione fotorealistica della scena utilizzando lo splatting di Gaussiane 3D, segmentando contemporaneamente i singoli oggetti 3D. Successivamente, utilizziamo una perdita di corrispondenza delle caratteristiche basata sul vicino più prossimo per affinare le Gaussiane degli oggetti selezionati, allineando i loro coefficienti armonici sferici con l'immagine di stile per garantire coerenza e attrattiva visiva. StyleSplat consente un trasferimento di stile rapido e personalizzabile, nonché la stilizzazione localizzata di più oggetti all'interno di una scena, ciascuno con uno stile diverso. Dimostriamo la sua efficacia in varie scene e stili 3D, evidenziando un maggiore controllo e personalizzazione nella creazione 3D.

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.