AutoWeather4D: Autonomes Fahrzeug-Videowetterkonvertierung via G-Buffer Dual-Pass-Bearbeitung
AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing
March 27, 2026
Autoren: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan
cs.AI
Zusammenfassung
Generative Videomodelle haben die fotorealistische Synthese von widrigen Wetterbedingungen für das autonome Fahren erheblich vorangetrieben; jedoch benötigen sie durchweg umfangreiche Datensätze, um seltene Wetterszenarien zu erlernen. Während 3D-bewusste Bearbeitungsmethoden diese Dateneinschränkungen durch die Erweiterung vorhandener Videoaufnahmen mildern, werden sie grundsätzlich durch aufwändige pro-Szene-Optimierung limitiert und leiden unter inhärenter geometrischer und beleuchtungstechnischer Verflechtung. In dieser Arbeit stellen wir AutoWeather4D vor, ein vorwärtsgerichtetes 3D-bewusstes Wetterbearbeitungsframework, das explizit darauf ausgelegt ist, Geometrie und Beleuchtung zu entkoppeln. Kern unseres Ansatzes ist ein G-Buffer-Dualpass-Bearbeitungsmechanismus. Der Geometrie-Pass nutzt explizite strukturelle Grundlagen, um oberflächengebundene physikalische Interaktionen zu ermöglichen, während der Licht-Pass den Lichttransport analytisch auflöst und die Beiträge lokaler Lichtquellen zur globalen Beleuchtung akkumuliert, um dynamische 3D-Lokalbeleuchtung zu ermöglichen. Umfangreiche Experimente zeigen, dass AutoWeather4D eine vergleichbare Fotorealismus und strukturelle Konsistenz wie generative Baseline-Modelle erreicht, dabei aber feinkörnige parametrische physikalische Steuerung ermöglicht und als praktische Daten-Engine für das autonome Fahren dient.
English
Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.