BRDFusion: Физика встречается с генерацией для обратного рендеринга городских сцен

Аннотация

Обратный рендеринг городских сцен из захваченных видео открывает множество применений, включая создание контента и симуляцию автономного вождения. Методы, основанные на физически корректном рендеринге, следуют законам физики освещения и управляют ими, однако страдают от артефактов при реконструкции и рендеринге. В то время как генеративные модели создают реалистичные видео, они обеспечивают ограниченную согласованность и управляемость. Мы представляем BRDFusion — единую структуру, объединяющую две взаимодополняющие модели для обратного и прямого рендеринга. В частности, BRDFusion восстанавливает явные, согласованные свойства сцены с помощью физического моделирования и уменьшает неоднозначность оптимизации за счет порождающих априорных распределений. При прямом рендеринге физическая модель обеспечивает управляемый рендеринг на основе конфигурации сцены, а генеративная модель подавляет шум и исправляет артефакты. Таким образом, наш метод создает высококачественные видео, обеспечивая при этом точный контроль, превосходя базовые подходы как на реальных, так и на синтетических сценах. Кроме того, BRDFusion поддерживает переосвещение с новых ракурсов, симуляцию ночного освещения, а также вставку и редактирование динамических объектов. Страница проекта: https://shigon255.github.io/brdfusion-page/

English

Inverse rendering of urban scenes from captured videos enables numerous applications, including content creation and autonomous driving simulation. Physically-based rendering methods follow and control lighting physics, but suffer from reconstruction and rendering artifacts. While generative models produce realistic videos, they offer limited consistency and controllability. We present BRDFusion, a unified framework that combines two complementary models for inverse and forward rendering. Specifically, BRDFusion recovers explicit, consistent scene properties with physical modeling and alleviates optimization ambiguity with generative priors. During forward rendering, the physical model provides controllable rendering from the scene configuration, and the generative model denoises and fixes artifacts. Therefore, our method produces high-quality videos while allowing precise control, outperforming baselines in real and synthetic scenes. Moreover, BRDFusion supports novel-view relighting, night simulation, and dynamic object insertion/editing. Project page: https://shigon255.github.io/brdfusion-page/