AutoWeather4D: Weerconversie voor Autonome Rijvideo's via G-Buffer Dual-Pass Bewerking
AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing
March 27, 2026
Auteurs: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan
cs.AI
Samenvatting
Generatieve videomodellen hebben de fotorealistische synthese van extreem weer voor autonome voertuigen aanzienlijk vooruitgebracht; zij vereisen echter steevast enorme datasets om zeldzame weersscenario's aan te leren. Hoewel 3D-bewerkingsmethoden met ruimtelijk bewustzijn deze databeperkingen verlichten door bestaand videomateriaal aan te vullen, worden zij fundamenteel beperkt door kostbare optimalisatie per scène en lijden zij onder inherente verstrengeling van geometrie en belichting. In dit werk introduceren wij AutoWeather4D, een voorwaarts-gericht 3D-weersbewerkingsraamwerk dat expliciet geometrie en belichting ontkoppelt. De kern van onze aanpak is een G-buffer Dual-pass Bewerkingsmechanisme. De Geometriepass benut expliciete structurele fundamenten om oppervlakte-verankerde fysieke interacties mogelijk te maken, terwijl de Lichtpass analytisch de lichttransportvergelijking oplost en bijdragen van lokale lichtbronnen accumuleert in de globale belichting om dynamische 3D-lokale herbelichting te realiseren. Uitgebreide experimenten tonen aan dat AutoWeather4D een vergelijkbaar realisme en structurele consistentie bereikt als generatieve baseline-methoden, waarbij het tegelijkertijd fijnmazige parametrische fysieke controle mogelijk maakt, en zo fungeert als een praktische data-engine voor autonoom rijden.
English
Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.