가우시안 프로스팅: 실시간 렌더링이 가능한 편집형 복잡 복사 필드

Gaussian Frosting: Editable Complex Radiance Fields with Real-Time Rendering

March 21, 2024

저자: Antoine Guédon, Vincent Lepetit

cs.AI

초록

우리는 복잡한 3D 효과를 실시간으로 고품질 렌더링 및 편집하기 위한 새로운 메시 기반 표현인 Gaussian Frosting을 제안합니다. 우리의 접근 방식은 최근의 3D Gaussian Splatting 프레임워크를 기반으로 하며, 이 프레임워크는 이미지로부터 방사장(radiance field)을 근사하기 위해 3D 가우시안 집합을 최적화합니다. 우리는 최적화 과정에서 가우시안으로부터 기본 메시를 먼저 추출한 후, 메시 주변에 가변 두께의 적응형 가우시안 레이어를 구축하고 정제하여 표면 근처의 미세한 디테일과 체적 효과(예: 머리카락이나 풀)를 더 잘 포착할 것을 제안합니다. 우리는 이 레이어를 Gaussian Frosting이라고 부르며, 이는 케이크 위의 프로스팅 코팅과 유사합니다. 재질이 더 퍼지면 프로스팅 두께도 더 두꺼워집니다. 또한, 우리는 가우시안이 프로스팅 레이어 내부에 유지되도록 강제하고, 메시를 변형, 크기 조정, 편집 또는 애니메이션할 때 자동으로 매개변수를 조정하는 가우시안 파라미터화를 도입합니다. 우리의 표현은 가우시안 스플래팅을 사용한 효율적인 렌더링과 기본 메시를 수정하여 편집 및 애니메이션을 가능하게 합니다. 우리는 다양한 합성 및 실제 장면에서 우리 방법의 효과를 입증하고, 기존의 표면 기반 접근법을 능가함을 보여줍니다. 추가 기여로 코드와 웹 기반 뷰어를 공개할 예정입니다. 우리의 프로젝트 페이지는 다음과 같습니다: https://anttwo.github.io/frosting/

English

We propose Gaussian Frosting, a novel mesh-based representation for high-quality rendering and editing of complex 3D effects in real-time. Our approach builds on the recent 3D Gaussian Splatting framework, which optimizes a set of 3D Gaussians to approximate a radiance field from images. We propose first extracting a base mesh from Gaussians during optimization, then building and refining an adaptive layer of Gaussians with a variable thickness around the mesh to better capture the fine details and volumetric effects near the surface, such as hair or grass. We call this layer Gaussian Frosting, as it resembles a coating of frosting on a cake. The fuzzier the material, the thicker the frosting. We also introduce a parameterization of the Gaussians to enforce them to stay inside the frosting layer and automatically adjust their parameters when deforming, rescaling, editing or animating the mesh. Our representation allows for efficient rendering using Gaussian splatting, as well as editing and animation by modifying the base mesh. We demonstrate the effectiveness of our method on various synthetic and real scenes, and show that it outperforms existing surface-based approaches. We will release our code and a web-based viewer as additional contributions. Our project page is the following: https://anttwo.github.io/frosting/