BRDFusion: Física y generación para la renderización inversa de escenas urbanas

Resumen

El renderizado inverso de escenas urbanas a partir de videos capturados permite numerosas aplicaciones, incluyendo la creación de contenido y la simulación de conducción autónoma. Los métodos de renderizado basados en física siguen y controlan la física de la iluminación, pero presentan artefactos en la reconstrucción y el renderizado. Mientras que los modelos generativos producen videos realistas, ofrecen consistencia y controlabilidad limitadas. Presentamos BRDFusion, un marco unificado que combina dos modelos complementarios para renderizado inverso y directo. Específicamente, BRDFusion recupera propiedades de escena explícitas y consistentes mediante modelado físico y alivia la ambigüedad de optimización con priors generativos. Durante el renderizado directo, el modelo físico proporciona renderizado controlable a partir de la configuración de la escena, y el modelo generativo elimina ruido y corrige artefactos. Por lo tanto, nuestro método produce videos de alta calidad permitiendo un control preciso, superando a los métodos base en escenas reales y sintéticas. Además, BRDFusion soporta reiluminación con vistas novedosas, simulación nocturna e inserción/edición dinámica de objetos. Página del proyecto: https://shigon255.github.io/brdfusion-page/

English

Inverse rendering of urban scenes from captured videos enables numerous applications, including content creation and autonomous driving simulation. Physically-based rendering methods follow and control lighting physics, but suffer from reconstruction and rendering artifacts. While generative models produce realistic videos, they offer limited consistency and controllability. We present BRDFusion, a unified framework that combines two complementary models for inverse and forward rendering. Specifically, BRDFusion recovers explicit, consistent scene properties with physical modeling and alleviates optimization ambiguity with generative priors. During forward rendering, the physical model provides controllable rendering from the scene configuration, and the generative model denoises and fixes artifacts. Therefore, our method produces high-quality videos while allowing precise control, outperforming baselines in real and synthetic scenes. Moreover, BRDFusion supports novel-view relighting, night simulation, and dynamic object insertion/editing. Project page: https://shigon255.github.io/brdfusion-page/