UrbanIR: Grootschalige inverse rendering van stedelijke scènes vanuit een enkele video

UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video

June 15, 2023

Auteurs: Zhi-Hao Lin, Bohan Liu, Yi-Ting Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang

cs.AI

Samenvatting

We laten zien hoe een model kan worden gebouwd dat realistische, vrijstandpunt-renderingen van een scène mogelijk maakt onder nieuwe belichtingsomstandigheden vanuit video. Onze methode -- UrbanIR: Urban Scene Inverse Rendering -- berekent een inverse graphics-representatie vanuit de video. UrbanIR leidt gezamenlijk vorm, albedo, zichtbaarheid, en zon- en hemelverlichting af vanuit een enkele video van onbegrensde buitenomgevingen met onbekende belichting. UrbanIR gebruikt video's van camera's die op auto's zijn gemonteerd (in tegenstelling tot meerdere weergaven van dezelfde punten in typische NeRF-stijl schattingen). Als gevolg hiervan produceren standaardmethoden slechte geometrie-schattingen (bijvoorbeeld daken), en zijn er talrijke 'floaters'. Fouten in inverse graphics-inferentie kunnen leiden tot sterke rendering-artefacten. UrbanIR gebruikt nieuwe verliesfuncties om deze en andere bronnen van fouten te beheersen. UrbanIR gebruikt een nieuwe verliesfunctie om zeer goede schattingen te maken van schaduwvolumes in de oorspronkelijke scène. De resulterende representaties faciliteren controleerbare bewerkingen, waardoor fotorealistische vrijstandpunt-renderingen van herbelichte scènes en ingevoegde objecten worden geleverd. Kwalitatieve evaluatie toont sterke verbeteringen ten opzichte van de state-of-the-art.

English

We show how to build a model that allows realistic, free-viewpoint renderings of a scene under novel lighting conditions from video. Our method -- UrbanIR: Urban Scene Inverse Rendering -- computes an inverse graphics representation from the video. UrbanIR jointly infers shape, albedo, visibility, and sun and sky illumination from a single video of unbounded outdoor scenes with unknown lighting. UrbanIR uses videos from cameras mounted on cars (in contrast to many views of the same points in typical NeRF-style estimation). As a result, standard methods produce poor geometry estimates (for example, roofs), and there are numerous ''floaters''. Errors in inverse graphics inference can result in strong rendering artifacts. UrbanIR uses novel losses to control these and other sources of error. UrbanIR uses a novel loss to make very good estimates of shadow volumes in the original scene. The resulting representations facilitate controllable editing, delivering photorealistic free-viewpoint renderings of relit scenes and inserted objects. Qualitative evaluation demonstrates strong improvements over the state-of-the-art.