StyleSplat: 가우시안 스플래팅을 활용한 3D 객체 스타일 변환

StyleSplat: 3D Object Style Transfer with Gaussian Splatting

July 12, 2024

저자: Sahil Jain, Avik Kuthiala, Prabhdeep Singh Sethi, Prakanshul Saxena

cs.AI

초록

최근 레이디언스 필드(radiance fields)의 발전으로 고품질 3D 자산과 장면을 생성하는 새로운 가능성이 열렸습니다. 스타일 전환은 이러한 3D 자산에 다양한 예술적 스타일을 적용하여 창의적인 표현을 변형할 수 있습니다. 그러나 기존 기술은 종종 느리거나 특정 객체에 대한 스타일 전환을 지역화하지 못하는 한계가 있습니다. 우리는 참조 스타일 이미지로부터 3D 가우시안으로 표현된 장면 내 3D 객체를 스타일화하는 경량화된 방법인 StyleSplat을 소개합니다. 우리의 접근 방식은 먼저 3D 가우시안 스플래팅을 사용하여 장면의 사실적인 표현을 학습하는 동시에 개별 3D 객체를 분할합니다. 그런 다음, 최근접 이웃 특징 매칭 손실을 사용하여 선택된 객체의 가우시안을 미세 조정하고, 그들의 구면 조화 계수를 스타일 이미지와 일치시켜 일관성과 시각적 매력을 보장합니다. StyleSplat은 빠르고 사용자 정의 가능한 스타일 전환과 장면 내 여러 객체의 지역화된 스타일화를 가능하게 하며, 각 객체에 다른 스타일을 적용할 수 있습니다. 우리는 다양한 3D 장면과 스타일에서의 효과를 입증하며, 3D 생성에서 향상된 제어와 사용자 정의를 보여줍니다.

English

Recent advancements in radiance fields have opened new avenues for creating high-quality 3D assets and scenes. Style transfer can enhance these 3D assets with diverse artistic styles, transforming creative expression. However, existing techniques are often slow or unable to localize style transfer to specific objects. We introduce StyleSplat, a lightweight method for stylizing 3D objects in scenes represented by 3D Gaussians from reference style images. Our approach first learns a photorealistic representation of the scene using 3D Gaussian splatting while jointly segmenting individual 3D objects. We then use a nearest-neighbor feature matching loss to finetune the Gaussians of the selected objects, aligning their spherical harmonic coefficients with the style image to ensure consistency and visual appeal. StyleSplat allows for quick, customizable style transfer and localized stylization of multiple objects within a scene, each with a different style. We demonstrate its effectiveness across various 3D scenes and styles, showcasing enhanced control and customization in 3D creation.