AutoWeather4D: Conversión Meteorológica en Vídeos de Conducción Autónoma mediante Edición de Doble Pasada de G-Buffer
AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing
March 27, 2026
Autores: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan
cs.AI
Resumen
Los modelos generativos de vídeo han avanzado significativamente en la síntesis fotorrealista de condiciones meteorológicas adversas para la conducción autónoma; sin embargo, requieren constantemente conjuntos de datos masivos para aprender escenarios meteorológicos raros. Si bien los métodos de edición 3D conscientes del espacio alivian estas limitaciones de datos mediante la ampliación de secuencias de vídeo existentes, se ven fundamentalmente limitados por una costosa optimización por escena y adolecen de un inherente entrelazamiento geométrico y de iluminación. En este trabajo, presentamos AutoWeather4D, un marco de edición meteorológica 3D consciente del espacio y de avance directo, diseñado para desacoplar explícitamente la geometría y la iluminación. El núcleo de nuestro enfoque es un mecanismo de Edición de Doble Paso mediante Búferes de Geometría (G-buffer). La Fase de Geometría aprovecha los fundamentos estructurales explícitos para permitir interacciones físicas ancladas a la superficie, mientras que la Fase de Luz resuelve analíticamente el transporte de luz, acumulando las contribuciones de los iluminantes locales en la iluminación global para permitir una reiluminación local 3D dinámica. Experimentos exhaustivos demuestran que AutoWeather4D logra un fotorrealismo y una consistencia estructural comparables a los métodos generativos de referencia, a la vez que permite un control físico paramétrico de grano fino, sirviendo como un motor de datos práctico para la conducción autónoma.
English
Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.