3D 가우시안 스플래팅을 위한 지하 흡수

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

저자: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

초록

빛을 산란하는 재료로 만들어진 물체의 3D 재구성과 재조명은 표면 아래 복잡한 빛 전달로 인해 상당한 어려움을 겪습니다. 3D 가우시안 스플래팅은 고품질의 신규 뷰 합성을 실시간 속도로 소개했습니다. 3D 가우시안은 물체의 표면을 효율적으로 근사하지만, 표면 아래의 체적적 특성을 포착하지 못합니다. 우리는 다중 뷰 OLAT(한 번에 한 광원) 데이터를 통해 물체의 형태와 광도 전달 필드를 최적화하기 위한 프레임워크를 제안합니다. 우리의 방법은 장면을 3D 가우시안으로 표현된 명시적 표면과 공간적으로 변하는 BRDF, 그리고 산란 구성 요소의 암시적 체적 표현으로 분해합니다. 학습된 사건 광 필드는 그림자를 고려합니다. 우리는 레이 추적 가능한 미분 렌더링을 통해 모든 매개변수를 동시에 최적화합니다. 우리의 방법은 상호작용 속도로 소재 편집, 재조명 및 신규 뷰 합성을 가능하게 합니다. 우리는 합성 데이터에 성공적으로 적용하고, 빛 스테이지 설정에서 물체의 새로운 다중 뷰 다중 광 데이터셋을 소개합니다. 이전 연구와 비교하여 최적화 및 렌더링 시간의 일부만 사용하여 비슷하거나 더 나은 결과를 달성하면서 소재 특성에 대한 상세한 제어를 가능하게 합니다. 프로젝트 페이지: https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/