ChatPaper.aiChatPaper

피부 산란 효과를 고려한 신경망 기반 재조명: 복사 전달 기울기 학습을 통한 접근

Neural Relighting with Subsurface Scattering by Learning the Radiance Transfer Gradient

June 15, 2023
저자: Shizhan Zhu, Shunsuke Saito, Aljaz Bozic, Carlos Aliaga, Trevor Darrell, Christop Lassner
cs.AI

초록

다양한 조명 조건에서 물체와 장면을 재구성하고 재조명하는 것은 어려운 과제입니다: 기존의 신경망 기반 렌더링 방법들은 종종 재질과 빛 사이의 복잡한 상호작용을 처리하지 못합니다. 사전 계산된 복사 전달(radiance transfer) 기법을 도입하면 전역 조명(global illumination)을 구현할 수 있지만, 여전히 표면 아래 산란(subsurface scattering) 효과가 있는 재질을 다루는 데 어려움이 있습니다. 본 논문에서는 볼륨 렌더링을 통해 복사 전달 필드를 학습하고 다양한 외관(appearance) 단서를 활용하여 기하학을 종단 간(end-to-end)으로 정제하는 새로운 프레임워크를 제안합니다. 이 프레임워크는 데이터 주도 방식으로 더 넓은 범위의 재질을 처리할 수 있도록 재조명 및 재구성 기능을 확장합니다. 결과 모델은 기존 및 새로운 조건에서 그럴듯한 렌더링 결과를 생성합니다. 우리는 코드와 표면 아래 산란 효과가 있는 물체들로 구성된 새로운 라이트 스테이지 데이터셋을 공개할 예정입니다.
English
Reconstructing and relighting objects and scenes under varying lighting conditions is challenging: existing neural rendering methods often cannot handle the complex interactions between materials and light. Incorporating pre-computed radiance transfer techniques enables global illumination, but still struggles with materials with subsurface scattering effects. We propose a novel framework for learning the radiance transfer field via volume rendering and utilizing various appearance cues to refine geometry end-to-end. This framework extends relighting and reconstruction capabilities to handle a wider range of materials in a data-driven fashion. The resulting models produce plausible rendering results in existing and novel conditions. We will release our code and a novel light stage dataset of objects with subsurface scattering effects publicly available.
PDF30December 15, 2024