AutoWeather4D: Преобразование погодных условий в видео для автономного вождения с помощью двупроходного редактирования G-буфера
AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing
March 27, 2026
Авторы: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan
cs.AI
Аннотация
Генеративные видео-модели значительно продвинули фотореалистичный синтез неблагоприятных погодных условий для автономного вождения; однако они неизменно требуют огромных наборов данных для изучения редких погодных сценариев. В то время как 3D-ориентированные методы редактирования смягчают эти ограничения данных за счет аугментации существующих видеозаписей, они принципиально ограничены дорогостоящей оптимизацией для каждой сцены и страдают от присущего переплетения геометрии и освещения. В данной работе мы представляем AutoWeather4D — прямой (feed-forward) 3D-ориентированный фреймворк для редактирования погоды, разработанный для явного разделения геометрии и освещения. В основе нашего подхода лежит механизм G-буфера с двухпроходным редактированием (G-buffer Dual-pass Editing). Геометрический проход (Geometry Pass) использует явные структурные основы для обеспечения поверхностно-анкерных физических взаимодействий, в то время как Световой проход (Light Pass) аналитически решает уравнение переноса света, аккумулируя вклады локальных источников освещения в глобальную иллюминацию, что позволяет осуществлять динамическое 3D-локальное переосвещение. Многочисленные эксперименты демонстрируют, что AutoWeather4D достигает сопоставимого с генеративными базовыми методами уровня фотореализма и структурной согласованности, одновременно обеспечивая детализированный параметрический физический контроль и выступая в качестве практического механизма генерации данных для автономного вождения.
English
Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.