UrbanIR: 단일 비디오 기반 대규모 도시 장면 역렌더링

초록

우리는 비디오를 통해 새로운 조명 조건에서 장면의 사실적이고 자유로운 시점 렌더링을 가능하게 하는 모델을 구축하는 방법을 보여줍니다. 우리의 방법인 UrbanIR(Urban Scene Inverse Rendering)은 비디오로부터 역그래픽스 표현을 계산합니다. UrbanIR은 알려지지 않은 조명 조건의 무한한 야외 장면을 담은 단일 비디오로부터 형상, 알베도, 가시성, 태양 및 하늘 조명을 함께 추론합니다. UrbanIR은 차량에 장착된 카메라로 촬영된 비디오를 사용합니다(일반적인 NeRF 스타일 추정에서와 같은 동일 지점의 다중 뷰와 대조적). 결과적으로, 표준 방법은 지붕과 같은 형상 추정이 좋지 않고, 수많은 '플로터(floater)'가 발생합니다. 역그래픽스 추론의 오류는 강한 렌더링 아티팩트를 초래할 수 있습니다. UrbanIR은 이러한 오류와 다른 오류 원인을 제어하기 위해 새로운 손실 함수를 사용합니다. UrbanIR은 원본 장면의 그림자 볼륨을 매우 정확하게 추정하기 위해 새로운 손실 함수를 사용합니다. 결과적으로 얻은 표현은 제어 가능한 편집을 용이하게 하여, 재조명된 장면과 삽입된 객체의 사실적인 자유 시점 렌더링을 제공합니다. 정성적 평가는 최신 기술 대비 강력한 개선을 보여줍니다.

English

We show how to build a model that allows realistic, free-viewpoint renderings of a scene under novel lighting conditions from video. Our method -- UrbanIR: Urban Scene Inverse Rendering -- computes an inverse graphics representation from the video. UrbanIR jointly infers shape, albedo, visibility, and sun and sky illumination from a single video of unbounded outdoor scenes with unknown lighting. UrbanIR uses videos from cameras mounted on cars (in contrast to many views of the same points in typical NeRF-style estimation). As a result, standard methods produce poor geometry estimates (for example, roofs), and there are numerous ''floaters''. Errors in inverse graphics inference can result in strong rendering artifacts. UrbanIR uses novel losses to control these and other sources of error. UrbanIR uses a novel loss to make very good estimates of shadow volumes in the original scene. The resulting representations facilitate controllable editing, delivering photorealistic free-viewpoint renderings of relit scenes and inserted objects. Qualitative evaluation demonstrates strong improvements over the state-of-the-art.

UrbanIR: 단일 비디오 기반 대규모 도시 장면 역렌더링

UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video

초록

Support