SHINOBI: 야외 환경에서 BRDF 최적화를 통한 신경망 객체 분해 기반 형태 및 조명 추정

초록

본 논문에서는 다양한 조명, 자세, 배경에서 촬영된 물체 이미지로부터 형태, 재질, 조명을 복원하기 위한 종단 간(end-to-end) 프레임워크인 SHINOBI를 소개한다. 제약 없는 이미지 컬렉션을 기반으로 물체의 역렌더링(inverse rendering)을 수행하는 것은 컴퓨터 비전 및 그래픽스 분야에서 오랜 기간 동안 해결되지 않은 과제로, 형태, 복사광(radiance), 자세에 대한 공동 최적화가 필요하다. 본 연구에서는 다중 해시 해상도 인코딩(multi-resolution hash encoding)을 기반으로 한 암묵적 형태 표현(implicit shape representation)이 기존 연구를 능가하는 빠르고 견고한 형태 복원과 함께 카메라 정렬 최적화를 가능하게 함을 보여준다. 또한, 조명 및 물체 반사율(즉, 재질) 편집을 가능하게 하기 위해 BRDF(Bidirectional Reflectance Distribution Function)와 조명을 물체의 형태와 함께 공동으로 최적화한다. 본 방법은 클래스에 구애받지 않으며, 야외에서 촬영된 물체 이미지 컬렉션에 적용 가능하여 AR/VR, 영화, 게임 등 다양한 사용 사례에 활용 가능한 재조명 가능한 3D 자산을 생성한다. 프로젝트 페이지: https://shinobi.aengelhardt.com 비디오: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

English

We present SHINOBI, an end-to-end framework for the reconstruction of shape, material, and illumination from object images captured with varying lighting, pose, and background. Inverse rendering of an object based on unconstrained image collections is a long-standing challenge in computer vision and graphics and requires a joint optimization over shape, radiance, and pose. We show that an implicit shape representation based on a multi-resolution hash encoding enables faster and robust shape reconstruction with joint camera alignment optimization that outperforms prior work. Further, to enable the editing of illumination and object reflectance (i.e. material) we jointly optimize BRDF and illumination together with the object's shape. Our method is class-agnostic and works on in-the-wild image collections of objects to produce relightable 3D assets for several use cases such as AR/VR, movies, games, etc. Project page: https://shinobi.aengelhardt.com Video: https://www.youtube.com/watch?v=iFENQ6AcYd8&feature=youtu.be

SHINOBI: 야외 환경에서 BRDF 최적화를 통한 신경망 객체 분해 기반 형태 및 조명 추정

SHINOBI: Shape and Illumination using Neural Object Decomposition via BRDF Optimization In-the-wild

초록

Support