StyleSplat: Transferência de Estilo de Objetos 3D com Espalhamento Gaussiano
StyleSplat: 3D Object Style Transfer with Gaussian Splatting
July 12, 2024
Autores: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena
cs.AI
Resumo
Avanços recentes em campos de radiância abriram novas possibilidades para criar ativos e cenas 3D de alta qualidade. A transferência de estilo pode aprimorar esses ativos 3D com diversos estilos artísticos, transformando a expressão criativa. No entanto, as técnicas existentes frequentemente são lentas ou incapazes de localizar a transferência de estilo para objetos específicos. Apresentamos o StyleSplat, um método leve para estilizar objetos 3D em cenas representadas por Gaussianas 3D a partir de imagens de estilo de referência. Nossa abordagem primeiro aprende uma representação fotorrealista da cena usando splatting gaussiano 3D enquanto segmenta individualmente objetos 3D. Em seguida, utilizamos uma perda de correspondência de características de vizinho mais próximo para refinar as Gaussianas dos objetos selecionados, alinhando seus coeficientes harmônicos esféricos com a imagem de estilo para garantir consistência e apelo visual. O StyleSplat permite uma transferência de estilo rápida e personalizável, estilização localizada de múltiplos objetos dentro de uma cena, cada um com um estilo diferente. Demonstramos sua eficácia em várias cenas 3D e estilos, exibindo controle aprimorado e personalização na criação 3D.
English
Recent advancements in radiance fields have opened new avenues for creating
high-quality 3D assets and scenes. Style transfer can enhance these 3D assets
with diverse artistic styles, transforming creative expression. However,
existing techniques are often slow or unable to localize style transfer to
specific objects. We introduce StyleSplat, a lightweight method for stylizing
3D objects in scenes represented by 3D Gaussians from reference style images.
Our approach first learns a photorealistic representation of the scene using 3D
Gaussian splatting while jointly segmenting individual 3D objects. We then use
a nearest-neighbor feature matching loss to finetune the Gaussians of the
selected objects, aligning their spherical harmonic coefficients with the style
image to ensure consistency and visual appeal. StyleSplat allows for quick,
customizable style transfer and localized stylization of multiple objects
within a scene, each with a different style. We demonstrate its effectiveness
across various 3D scenes and styles, showcasing enhanced control and
customization in 3D creation.