BRDFusion: Fysica Ontmoet Generatie voor Inverse Rendering van Stedelijke Scènes

Samenvatting

Inverse rendering van stedelijke scènes uit vastgelegde video's maakt talrijke toepassingen mogelijk, waaronder contentcreatie en simulatie van autonoom rijden. Fysisch gebaseerde renderingmethoden volgen en beheersen de lichtfysica, maar hebben last van reconstructie- en renderingartefacten. Hoewel generatieve modellen realistische video's produceren, bieden ze beperkte consistentie en beheersbaarheid. Wij presenteren BRDFusion, een uniform raamwerk dat twee complementaire modellen combineert voor inverse en forward rendering. Specifiek herstelt BRDFusion expliciete, consistente scène-eigenschappen met fysische modellering en vermindert het optimalisatieambiguïteit met generatieve voorkennis. Tijdens forward rendering biedt het fysische model beheersbare weergave op basis van de scèneconfiguratie, en het generatieve model verwijdert ruis en herstelt artefacten. Daarom produceert onze methode hoogwaardige video's terwijl het nauwkeurige controle mogelijk maakt, en overtreft het de basislijnen in zowel echte als synthetische scènes. Bovendien ondersteunt BRDFusion herbelichting vanuit nieuwe perspectieven, nachtsimulatie en dynamische objectinvoeging/-bewerking. Projectpagina: https://shigon255.github.io/brdfusion-page/

English

Inverse rendering of urban scenes from captured videos enables numerous applications, including content creation and autonomous driving simulation. Physically-based rendering methods follow and control lighting physics, but suffer from reconstruction and rendering artifacts. While generative models produce realistic videos, they offer limited consistency and controllability. We present BRDFusion, a unified framework that combines two complementary models for inverse and forward rendering. Specifically, BRDFusion recovers explicit, consistent scene properties with physical modeling and alleviates optimization ambiguity with generative priors. During forward rendering, the physical model provides controllable rendering from the scene configuration, and the generative model denoises and fixes artifacts. Therefore, our method produces high-quality videos while allowing precise control, outperforming baselines in real and synthetic scenes. Moreover, BRDFusion supports novel-view relighting, night simulation, and dynamic object insertion/editing. Project page: https://shigon255.github.io/brdfusion-page/