AutoWeather4D: Conversão Meteorológica em Vídeos de Condução Autônoma via Edição Dual-Pass com G-Buffer
AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing
March 27, 2026
Autores: Tianyu Liu, Weitao Xiong, Kunming Luo, Manyuan Zhang, Peng Liu, Yuan Liu, Ping Tan
cs.AI
Resumo
Os modelos generativos de vídeo avançaram significativamente na síntese fotorrealista de condições climáticas adversas para a condução autónoma; no entanto, exigem consistentemente conjuntos de dados massivos para aprender cenários climáticos raros. Embora os métodos de edição 3D-aware aliviem estas restrições de dados através da ampliação de filmagens de vídeo existentes, são fundamentalmente limitados por uma otimização por cena dispendiosa e sofrem de um entrelaçamento inerente entre geometria e iluminação. Neste trabalho, apresentamos o AutoWeather4D, uma estrutura de edição meteorológica 3D-aware de avanço direto, concebida para desacoplar explicitamente a geometria e a iluminação. O cerne da nossa abordagem é um mecanismo de Edição de Dupla Passagem com G-buffer. A Passagem de Geometria aproveita fundamentos estruturais explícitos para permitir interações físicas ancoradas na superfície, enquanto a Passagem de Luz resolve analiticamente o transporte de luz, acumulando as contribuições de iluminantes locais na iluminação global para permitir uma reiluminação local 3D dinâmica. Experiências extensivas demonstram que o AutoWeather4D atinge um fotorrealismo e uma consistência estrutural comparáveis aos métodos generativos de base, permitindo simultaneamente um controlo físico paramétrico de granularidade fina, servindo como um motor de dados prático para a condução autónoma.
English
Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.