UrbanIR: Inverse Rendering su larga scala di scene urbane da un singolo video

UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video

June 15, 2023

Autori: Zhi-Hao Lin, Bohan Liu, Yi-Ting Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang

cs.AI

Abstract

Mostriamo come costruire un modello che consenta rendering realistici e da punti di vista liberi di una scena sotto condizioni di illuminazione nuove a partire da un video. Il nostro metodo -- UrbanIR: Urban Scene Inverse Rendering -- calcola una rappresentazione di inverse graphics dal video. UrbanIR inferisce congiuntamente forma, albedo, visibilità e illuminazione solare e atmosferica da un singolo video di scene esterne illimitate con illuminazione sconosciuta. UrbanIR utilizza video provenienti da telecamere montate su automobili (a differenza delle molteplici visualizzazioni degli stessi punti tipiche delle stime in stile NeRF). Di conseguenza, i metodi standard producono stime geometriche scadenti (ad esempio, per i tetti) e sono presenti numerosi "floaters". Errori nell'inferenza di inverse graphics possono portare a forti artefatti nel rendering. UrbanIR utilizza nuove funzioni di perdita per controllare queste e altre fonti di errore. UrbanIR impiega una nuova funzione di perdita per ottenere stime molto accurate dei volumi d'ombra nella scena originale. Le rappresentazioni risultanti facilitano l'editing controllabile, fornendo rendering fotorealistici da punti di vista liberi di scene riluminate e oggetti inseriti. La valutazione qualitativa dimostra significativi miglioramenti rispetto allo stato dell'arte.

English

We show how to build a model that allows realistic, free-viewpoint renderings of a scene under novel lighting conditions from video. Our method -- UrbanIR: Urban Scene Inverse Rendering -- computes an inverse graphics representation from the video. UrbanIR jointly infers shape, albedo, visibility, and sun and sky illumination from a single video of unbounded outdoor scenes with unknown lighting. UrbanIR uses videos from cameras mounted on cars (in contrast to many views of the same points in typical NeRF-style estimation). As a result, standard methods produce poor geometry estimates (for example, roofs), and there are numerous ''floaters''. Errors in inverse graphics inference can result in strong rendering artifacts. UrbanIR uses novel losses to control these and other sources of error. UrbanIR uses a novel loss to make very good estimates of shadow volumes in the original scene. The resulting representations facilitate controllable editing, delivering photorealistic free-viewpoint renderings of relit scenes and inserted objects. Qualitative evaluation demonstrates strong improvements over the state-of-the-art.