AutoWeather4D: G-버퍼 이중 패스 편집을 통한 자율 주행 비디오 날씨 변환

초록

생성 비디오 모델은 자율주행을 위한 역천기 상황의 사실적 합성에서 큰 진전을 이루었으나, 희귀 기상 시나리오 학습을 위해 항상 방대한 데이터셋을 요구합니다. 3D 인지 편집 방법은 기존 영상 자료를 증강하여 이러한 데이터 제약을 완화하지만, 근본적으로 장면별 최적화 비용이 높으며 기하학적 요소와 조명 요소가 본질적으로 얽혀 있는 한계가 있습니다. 본 연구에서는 기하학과 조명을 명시적으로 분리하도록 설계된 순전파 방식의 3D 인지 기상 편집 프레임워크인 AutoWeather4D를 소개합니다. 우리 접근법의 핵심은 G-버퍼 이중 패스 편집 메커니즘입니다. 기하학 패스는 명시적 구조 기반을 활용하여 표면에 고정된 물리적 상호작용을 가능하게 하고, 조명 패스는 광선 전달을 해석적으로 해결하여 지역 광원의 기여도를 전역 조명에 누적시켜 동적인 3D 지역 재조명을 가능하게 합니다. 폭넓은 실험을 통해 AutoWeather4D가 생성형 기준 모델과 필적하는 사실감과 구조적 일관성을 달성하면서도 정밀한 매개변수 기반 물리적 제어가 가능함을 입증하여, 자율주행을 위한 실용적인 데이터 엔진으로서의 역할을 수행할 수 있음을 보여줍니다.

English

Generative video models have significantly advanced the photorealistic synthesis of adverse weather for autonomous driving; however, they consistently demand massive datasets to learn rare weather scenarios. While 3D-aware editing methods alleviate these data constraints by augmenting existing video footage, they are fundamentally bottlenecked by costly per-scene optimization and suffer from inherent geometric and illumination entanglement. In this work, we introduce AutoWeather4D, a feed-forward 3D-aware weather editing framework designed to explicitly decouple geometry and illumination. At the core of our approach is a G-buffer Dual-pass Editing mechanism. The Geometry Pass leverages explicit structural foundations to enable surface-anchored physical interactions, while the Light Pass analytically resolves light transport, accumulating the contributions of local illuminants into the global illumination to enable dynamic 3D local relighting. Extensive experiments demonstrate that AutoWeather4D achieves comparable photorealism and structural consistency to generative baselines while enabling fine-grained parametric physical control, serving as a practical data engine for autonomous driving.

AutoWeather4D: G-버퍼 이중 패스 편집을 통한 자율 주행 비디오 날씨 변환

AutoWeather4D: Autonomous Driving Video Weather Conversion via G-Buffer Dual-Pass Editing

초록

Support