UrbanIR: Inverse Rendering großflächiger urbaner Szenen aus einem einzelnen Video

UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video

June 15, 2023

Autoren: Zhi-Hao Lin, Bohan Liu, Yi-Ting Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang

cs.AI

Zusammenfassung

Wir zeigen, wie ein Modell erstellt werden kann, das realistische, freie Blickwinkel-Renderings einer Szene unter neuen Beleuchtungsbedingungen aus einem Video ermöglicht. Unsere Methode – UrbanIR: Urban Scene Inverse Rendering – berechnet eine inverse grafische Darstellung aus dem Video. UrbanIR leitet gemeinsam Form, Albedo, Sichtbarkeit sowie Sonnen- und Himmelsbeleuchtung aus einem einzelnen Video von unbegrenzten Außenszenen mit unbekannter Beleuchtung ab. UrbanIR verwendet Videos von Kameras, die an Fahrzeugen montiert sind (im Gegensatz zu vielen Ansichten derselben Punkte in typischen NeRF-Schätzungen). Infolgedessen liefern Standardmethoden schlechte Geometrieschätzungen (zum Beispiel für Dächer), und es gibt zahlreiche „Floater“. Fehler in der inversen grafischen Inferenz können zu starken Rendering-Artefakten führen. UrbanIR verwendet neuartige Verlustfunktionen, um diese und andere Fehlerquellen zu kontrollieren. UrbanIR nutzt eine neuartige Verlustfunktion, um sehr gute Schätzungen der Schattenvolumen in der ursprünglichen Szene zu erzielen. Die resultierenden Darstellungen ermöglichen kontrollierbare Bearbeitungen und liefern fotorealistische freie Blickwinkel-Renderings von neu beleuchteten Szenen und eingefügten Objekten. Die qualitative Bewertung zeigt deutliche Verbesserungen gegenüber dem Stand der Technik.

English

We show how to build a model that allows realistic, free-viewpoint renderings of a scene under novel lighting conditions from video. Our method -- UrbanIR: Urban Scene Inverse Rendering -- computes an inverse graphics representation from the video. UrbanIR jointly infers shape, albedo, visibility, and sun and sky illumination from a single video of unbounded outdoor scenes with unknown lighting. UrbanIR uses videos from cameras mounted on cars (in contrast to many views of the same points in typical NeRF-style estimation). As a result, standard methods produce poor geometry estimates (for example, roofs), and there are numerous ''floaters''. Errors in inverse graphics inference can result in strong rendering artifacts. UrbanIR uses novel losses to control these and other sources of error. UrbanIR uses a novel loss to make very good estimates of shadow volumes in the original scene. The resulting representations facilitate controllable editing, delivering photorealistic free-viewpoint renderings of relit scenes and inserted objects. Qualitative evaluation demonstrates strong improvements over the state-of-the-art.