Подповерхностное рассеяние для трехмерного гауссовского сплэтинга

Subsurface Scattering for 3D Gaussian Splatting

August 22, 2024

Авторы: Jan-Niklas Dihlmann, Arjun Majumdar, Andreas Engelhardt, Raphael Braun, Hendrik P. A. Lensch

cs.AI

Аннотация

Реконструкция и переосвещение трехмерных объектов, изготовленных из рассеивающих материалов, представляют существенное вызов из-за сложного переноса света под поверхностью. 3D Гауссово сглаживание представляет собой высококачественный метод синтеза нового вида в реальном времени. В то время как 3D Гауссианы эффективно аппроксимируют поверхность объекта, они не учитывают объемные свойства подповерхностного рассеивания. Мы предлагаем фреймворк для оптимизации формы объекта вместе с полем передачи радиации, учитывая многовидовые данные OLAT (один источник света за раз). Наш метод декомпозирует сцену на явную поверхность, представленную в виде 3D Гауссиан, с пространственно изменяющимся BRDF, и неявное объемное представление рассеивающего компонента. Обученное поле падающего света учитывает затенение. Мы оптимизируем все параметры совместно с помощью трассировки лучей и дифференцируемого рендеринга. Наш подход позволяет редактировать материалы, переосвещать и синтезировать новый вид с интерактивной скоростью. Мы продемонстрировали успешное применение на синтетических данных и представили недавно полученный многовидовой многосветовой набор данных объектов в установке световой сцены. По сравнению с предыдущими работами, мы достигаем сравнимых или лучших результатов за долю времени оптимизации и рендеринга, обеспечивая при этом детальный контроль над атрибутами материала. Страница проекта: https://sss.jdihlmann.com/

English

3D reconstruction and relighting of objects made from scattering materials present a significant challenge due to the complex light transport beneath the surface. 3D Gaussian Splatting introduced high-quality novel view synthesis at real-time speeds. While 3D Gaussians efficiently approximate an object's surface, they fail to capture the volumetric properties of subsurface scattering. We propose a framework for optimizing an object's shape together with the radiance transfer field given multi-view OLAT (one light at a time) data. Our method decomposes the scene into an explicit surface represented as 3D Gaussians, with a spatially varying BRDF, and an implicit volumetric representation of the scattering component. A learned incident light field accounts for shadowing. We optimize all parameters jointly via ray-traced differentiable rendering. Our approach enables material editing, relighting and novel view synthesis at interactive rates. We show successful application on synthetic data and introduce a newly acquired multi-view multi-light dataset of objects in a light-stage setup. Compared to previous work we achieve comparable or better results at a fraction of optimization and rendering time while enabling detailed control over material attributes. Project page https://sss.jdihlmann.com/