AutoWeather4D: Conversione Meteorologica per Video di Guida Autonoma tramite Editing a Doppio Passaggio su G-Buffer

AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing

March 27, 2026

Autori: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan

cs.AI

Abstract

I modelli generativi video hanno fatto progressi significativi nella sintesi foto-realistica di condizioni meteorologiche avverse per la guida autonoma; tuttavia, richiedono costantemente dataset massicci per apprendere scenari meteorologici rari. Sebbene i metodi di editing 3D-aware allevino questi vincoli di dati aumentando i filmati video esistenti, sono fondamentalmente limitati da una costosa ottimizzazione per scena e soffrono di un'inestricabile entanglement geometrico e illuminotecnico intrinseco. In questo lavoro, introduciamo AutoWeather4D, un framework di editing meteorologico 3D-aware feed-forward progettato per disaccoppiare esplicitamente geometria e illuminazione. Al centro del nostro approccio c'è un meccanismo di G-buffer Dual-pass Editing. Il Geometry Pass sfrutta fondazioni strutturali esplicite per abilitare interazioni fisiche ancorate alla superficie, mentre il Light Pass risolve analiticamente il trasporto della luce, accumulando i contributi degli illuminanti locali nell'illuminazione globale per abilitare un re-illuminazione locale 3D dinamica. Esperimenti estensivi dimostrano che AutoWeather4D raggiunge un foto-realismo e una coerenza strutturale comparabili ai baseline generativi, abilitando al contempo un controllo fisico parametrico granulare, servendo come un pratico motore di dati per la guida autonoma.

English

Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.