StyleSplat: Transferencia de Estilo de Objetos 3D con Esparcimiento Gaussiano

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

Autores: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

Resumen

Los recientes avances en campos de radiación han abierto nuevas vías para crear activos y escenas 3D de alta calidad. La transferencia de estilo puede mejorar estos activos 3D con diversos estilos artísticos, transformando la expresión creativa. Sin embargo, las técnicas existentes a menudo son lentas o no pueden localizar la transferencia de estilo a objetos específicos. Presentamos StyleSplat, un método ligero para estilizar objetos 3D en escenas representadas por gaussianas 3D a partir de imágenes de estilo de referencia. Nuestro enfoque primero aprende una representación fotorrealista de la escena utilizando splatting gaussiano 3D mientras segmenta de manera conjunta objetos 3D individuales. Luego utilizamos una pérdida de coincidencia de características de vecino más cercano para refinar las gaussianas de los objetos seleccionados, alineando sus coeficientes armónicos esféricos con la imagen de estilo para garantizar consistencia y atractivo visual. StyleSplat permite una transferencia de estilo rápida y personalizable, así como una estilización localizada de múltiples objetos dentro de una escena, cada uno con un estilo diferente. Demostramos su efectividad en diversas escenas 3D y estilos, mostrando un control y personalización mejorados en la creación 3D.

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.