UrbanIR : Rendu inverse à grande échelle de scènes urbaines à partir d'une seule vidéo

UrbanIR: Large-Scale Urban Scene Inverse Rendering from a Single Video

June 15, 2023

Auteurs: Zhi-Hao Lin, Bohan Liu, Yi-Ting Chen, David Forsyth, Jia-Bin Huang, Anand Bhattad, Shenlong Wang

cs.AI

Résumé

Nous montrons comment construire un modèle permettant des rendus réalistes en vue libre d'une scène sous de nouvelles conditions d'éclairage à partir d'une vidéo. Notre méthode, UrbanIR : Urban Scene Inverse Rendering, calcule une représentation graphique inverse à partir de la vidéo. UrbanIR infère conjointement la forme, l'albédo, la visibilité, ainsi que l'éclairage solaire et atmosphérique à partir d'une seule vidéo de scènes extérieures non délimitées avec un éclairage inconnu. UrbanIR utilise des vidéos provenant de caméras montées sur des voitures (contrairement à de nombreuses vues des mêmes points dans les estimations typiques de type NeRF). En conséquence, les méthodes standard produisent des estimations géométriques médiocres (par exemple, les toits), et il y a de nombreux "flotteurs". Les erreurs dans l'inférence graphique inverse peuvent entraîner des artefacts de rendu importants. UrbanIR utilise de nouvelles fonctions de perte pour contrôler ces sources d'erreur et d'autres. UrbanIR utilise une nouvelle fonction de perte pour obtenir des estimations très précises des volumes d'ombre dans la scène originale. Les représentations résultantes facilitent l'édition contrôlée, offrant des rendus photoréalistes en vue libre de scènes rééclairées et d'objets insérés. L'évaluation qualitative démontre des améliorations significatives par rapport à l'état de l'art.

English

We show how to build a model that allows realistic, free-viewpoint renderings of a scene under novel lighting conditions from video. Our method -- UrbanIR: Urban Scene Inverse Rendering -- computes an inverse graphics representation from the video. UrbanIR jointly infers shape, albedo, visibility, and sun and sky illumination from a single video of unbounded outdoor scenes with unknown lighting. UrbanIR uses videos from cameras mounted on cars (in contrast to many views of the same points in typical NeRF-style estimation). As a result, standard methods produce poor geometry estimates (for example, roofs), and there are numerous ''floaters''. Errors in inverse graphics inference can result in strong rendering artifacts. UrbanIR uses novel losses to control these and other sources of error. UrbanIR uses a novel loss to make very good estimates of shadow volumes in the original scene. The resulting representations facilitate controllable editing, delivering photorealistic free-viewpoint renderings of relit scenes and inserted objects. Qualitative evaluation demonstrates strong improvements over the state-of-the-art.