AutoWeather4D: Gバッファ二重パス編集による自律走行ビデオの天候変換

AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing

March 27, 2026

著者: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan

cs.AI

要旨

生成映像モデルは、自動運転における悪天候の写真写実的な合成を大幅に進歩させてきた。しかし、稀な気象シナリオを学習するために大規模なデータセットを常に必要とする。一方、3D認識編集手法は既存の映像素材を拡張することでこれらのデータ制約を緩和するが、高コストなシーン単位の最適化が根本的なボトルネックとなり、本質的な幾何学と照明の絡み合いの問題に悩まされている。本研究では、AutoWeather4Dを提案する。これは、幾何学と照明を明示的に分離するように設計されたフィードフォワード型の3D認識天候編集フレームワークである。我々の手法の中核は、G-bufferデュアルパス編集機構である。ジオメトリパスは明示的な構造基盤を活用して表面に固定された物理的相互作用を可能にし、ライトパスは光輸送を解析的に解決し、局所光源の寄与を大域照明に累積することで、動的な3D局所再照明を実現する。大規模な実験により、AutoWeather4Dは生成ベースラインと同等の写真写実性と構造的一貫性を達成しつつ、細粒度のパラメトリックな物理制御を可能にし、自動運転の実用的なデータエンジンとして機能することが示された。

English

Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.