StyleSplat : Transfert de style d'objets 3D avec le lissage gaussien

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

Auteurs: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

Résumé

Les récents progrès dans les champs de radiance ont ouvert de nouvelles voies pour la création d'actifs et de scènes 3D de haute qualité. Le transfert de style peut enrichir ces actifs 3D avec divers styles artistiques, transformant ainsi l'expression créative. Cependant, les techniques existantes sont souvent lentes ou incapables de localiser le transfert de style sur des objets spécifiques. Nous présentons StyleSplat, une méthode légère pour styliser des objets 3D dans des scènes représentées par des Gaussiennes 3D à partir d'images de style de référence. Notre approche apprend d'abord une représentation photoréaliste de la scène en utilisant le splatting de Gaussiennes 3D tout en segmentant simultanément les objets 3D individuels. Nous utilisons ensuite une perte de correspondance de caractéristiques par plus proche voisin pour affiner les Gaussiennes des objets sélectionnés, alignant leurs coefficients harmoniques sphériques avec l'image de style pour assurer la cohérence et l'attrait visuel. StyleSplat permet un transfert de style rapide et personnalisable ainsi qu'une stylisation localisée de plusieurs objets dans une scène, chacun avec un style différent. Nous démontrons son efficacité à travers diverses scènes 3D et styles, mettant en avant un contrôle et une personnalisation accrus dans la création 3D.

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.