BRDFusion : Physique rencontre Génération pour le Rendu Inverse de Scènes Urbaines

Résumé

Le rendu inverse de scènes urbaines à partir de vidéos capturées permet de nombreuses applications, notamment la création de contenu et la simulation de conduite autonome. Les méthodes de rendu physiquement réaliste suivent et contrôlent la physique de l'éclairage, mais souffrent d'artefacts de reconstruction et de rendu. Tandis que les modèles génératifs produisent des vidéos réalistes, ils offrent une cohérence et une contrôlabilité limitées. Nous présentons BRDFusion, un cadre unifié qui combine deux modèles complémentaires pour le rendu inverse et direct. Plus précisément, BRDFusion récupère des propriétés de scène explicites et cohérentes grâce à la modélisation physique et atténue l'ambiguïté d'optimisation à l'aide de priors génératifs. Lors du rendu direct, le modèle physique permet un rendu contrôlable à partir de la configuration de la scène, et le modèle génératif débruit et corrige les artefacts. Ainsi, notre méthode produit des vidéos de haute qualité tout en permettant un contrôle précis, surpassant les bases de référence sur des scènes réelles et synthétiques. De plus, BRDFusion prend en charge le rééclairage de nouvelles vues, la simulation nocturne et l'insertion/édition dynamique d'objets. Page du projet : https://shigon255.github.io/brdfusion-page/

English

Inverse rendering of urban scenes from captured videos enables numerous applications, including content creation and autonomous driving simulation. Physically-based rendering methods follow and control lighting physics, but suffer from reconstruction and rendering artifacts. While generative models produce realistic videos, they offer limited consistency and controllability. We present BRDFusion, a unified framework that combines two complementary models for inverse and forward rendering. Specifically, BRDFusion recovers explicit, consistent scene properties with physical modeling and alleviates optimization ambiguity with generative priors. During forward rendering, the physical model provides controllable rendering from the scene configuration, and the generative model denoises and fixes artifacts. Therefore, our method produces high-quality videos while allowing precise control, outperforming baselines in real and synthetic scenes. Moreover, BRDFusion supports novel-view relighting, night simulation, and dynamic object insertion/editing. Project page: https://shigon255.github.io/brdfusion-page/