AutoWeather4D : Conversion Météorologique de Vidéos de Conduite Autonome via Édition Double Passe sur Tampons Géométriques

AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing

March 27, 2026

Auteurs: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan

cs.AI

Résumé

Les modèles génératifs vidéo ont considérablement fait progresser la synthèse photoréaliste des conditions météorologiques adverses pour la conduite autonome ; cependant, ils exigent systématiquement des jeux de données massifs pour apprendre les scénarios météorologiques rares. Bien que les méthodes d'édition 3D consciente atténuent ces contraintes de données en augmentant les séquences vidéo existantes, elles sont fondamentalement limitées par une optimisation coûteuse par scène et souffrent d'un enchevêtrement géométrique et d'illumination inhérent. Dans ce travail, nous présentons AutoWeather4D, un cadre d'édition météorologique 3D conscient en feed-forward conçu pour découpler explicitement la géométrie et l'illumination. Au cœur de notre approche se trouve un mécanisme d'Édition Double Passe par G-buffer. La Passe Géométrie exploite des fondations structurelles explicites pour permettre des interactions physiques ancrées en surface, tandis que la Passe Lumière résout analytiquement le transport lumineux, accumulant les contributions d'illuminants locaux dans l'illumination globale pour permettre un rééclairage local 3D dynamique. Des expériences approfondies démontrent qu'AutoWeather4D atteint un photoréalisme et une cohérence structurelle comparables aux méthodes génératives de référence, tout en permettant un contrôle physique paramétrique à granularité fine, servant de moteur de données pratique pour la conduite autonome.

English

Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.