BRDFusion: Physik trifft Generierung für das inverse Rendern urbaner Szenen

Zusammenfassung

Das inverse Rendern von urbanen Szenen aus aufgezeichneten Videos ermöglicht zahlreiche Anwendungen, darunter die Inhaltserstellung und Simulation des autonomen Fahrens. Physikbasierte Rendering-Verfahren folgen und steuern die Lichtphysik, leiden jedoch unter Rekonstruktions- und Render-Artefakten. Während generative Modelle realistische Videos erzeugen, bieten sie nur eine begrenzte Konsistenz und Kontrollierbarkeit. Wir stellen BRDFusion vor, ein einheitliches Framework, das zwei komplementäre Modelle für inverses und vorwärtsgerichtetes Rendering kombiniert. Insbesondere rekonstruiert BRDFusion explizite, konsistente Szeneneigenschaften mit physikalischer Modellierung und mildert Optimierungsambiguitäten durch generative Vorwissen. Während des Vorwärts-Renderings liefert das physikalische Modell kontrollierbares Rendering basierend auf der Szenenkonfiguration, während das generative Modell Rauschen reduziert und Artefakte behebt. Daher erzeugt unsere Methode hochwertige Videos bei gleichzeitiger präziser Kontrolle und übertrifft Basislinien in realen und synthetischen Szenen. Darüber hinaus unterstützt BRDFusion Neuansichts-Relighting, Nachtsimulation sowie dynamisches Einfügen/Bearbeiten von Objekten. Projektseite: https://shigon255.github.io/brdfusion-page/

English

Inverse rendering of urban scenes from captured videos enables numerous applications, including content creation and autonomous driving simulation. Physically-based rendering methods follow and control lighting physics, but suffer from reconstruction and rendering artifacts. While generative models produce realistic videos, they offer limited consistency and controllability. We present BRDFusion, a unified framework that combines two complementary models for inverse and forward rendering. Specifically, BRDFusion recovers explicit, consistent scene properties with physical modeling and alleviates optimization ambiguity with generative priors. During forward rendering, the physical model provides controllable rendering from the scene configuration, and the generative model denoises and fixes artifacts. Therefore, our method produces high-quality videos while allowing precise control, outperforming baselines in real and synthetic scenes. Moreover, BRDFusion supports novel-view relighting, night simulation, and dynamic object insertion/editing. Project page: https://shigon255.github.io/brdfusion-page/