3D 가우시안 스플랫을 위한 최적화 없는 스타일 변환

초록

3D 가우시안 스플랫에 대한 스타일 전환 작업은 많은 선행 연구에서 탐구되어 왔지만, 이러한 연구들은 스타일 정보를 통합하거나 스플랫 표현에 대한 특징 추출 네트워크를 최적화하면서 스플랫을 재구성하거나 미세 조정해야 합니다. 우리는 재구성과 최적화 없이 3D 가우시안 스플랫을 스타일화하는 접근 방식을 제안합니다. 이는 스플랫 표현의 암묵적 표면에 걸쳐 그래프 구조를 생성함으로써 이루어집니다. 그런 다음 피드포워드 기반의 표면 스타일화 방법이 사용되고, 이를 장면 내 개별 스플랫으로 다시 보간합니다. 이를 통해 추가적인 학습이나 최적화 없이도 어떤 스타일 이미지와 3D 가우시안 스플랫을 사용할 수 있습니다. 또한 이 방법은 소비자 급 하드웨어에서도 2분 이내의 빠른 스타일화를 가능하게 합니다. 우리는 이 접근 방식이 달성하는 품질 결과를 보여주고, 다른 3D 가우시안 스플랫 스타일 전환 방법과 비교합니다. 코드는 https://github.com/davidmhart/FastSplatStyler에서 공개되어 있습니다.

English

The task of style transfer for 3D Gaussian splats has been explored in many previous works, but these require reconstructing or fine-tuning the splat while incorporating style information or optimizing a feature extraction network on the splat representation. We propose a reconstruction- and optimization-free approach to stylizing 3D Gaussian splats. This is done by generating a graph structure across the implicit surface of the splat representation. A feed-forward, surface-based stylization method is then used and interpolated back to the individual splats in the scene. This allows for any style image and 3D Gaussian splat to be used without any additional training or optimization. This also allows for fast stylization of splats, achieving speeds under 2 minutes even on consumer-grade hardware. We demonstrate the quality results this approach achieves and compare to other 3D Gaussian splat style transfer methods. Code is publicly available at https://github.com/davidmhart/FastSplatStyler.

3D 가우시안 스플랫을 위한 최적화 없는 스타일 변환

Optimization-Free Style Transfer for 3D Gaussian Splats

초록

Support