MADrive: 메모리 증강형 운전 장면 모델링

초록

최근 장면 재구성 기술의 발전으로 3D 가우시안 스플래팅을 활용한 자율주행(AD) 환경의 고도로 사실적인 모델링이 가능해졌습니다. 그러나 이러한 재구성 결과는 원본 관측 데이터에 크게 의존하며, 상당히 변경되거나 새로운 주행 시나리오의 사실적 합성을 지원하는 데 어려움을 겪고 있습니다. 본 연구에서는 MADrive를 소개합니다. 이는 대규모 외부 메모리 뱅크에서 검색된 시각적으로 유사한 3D 자산으로 관측된 차량을 대체함으로써 기존 장면 재구성 방법의 기능을 확장하도록 설계된 메모리 증강 재구성 프레임워크입니다. 구체적으로, 우리는 야외에서 촬영된 약 70,000개의 360도 차량 비디오로 구성된 MAD-Cars 데이터셋을 공개하고, 메모리 뱅크에서 가장 유사한 차량 인스턴스를 찾아 해당 3D 자산을 비디오로부터 재구성한 후 방향 정렬과 재조명을 통해 대상 장면에 통합하는 검색 모듈을 제시합니다. 이를 통해 생성된 대체물은 장면 내 차량의 완전한 다중 뷰 표현을 제공하며, 실험에서 입증된 바와 같이 상당히 변경된 구성의 사실적 합성을 가능하게 합니다. 프로젝트 페이지: https://yandex-research.github.io/madrive/

English

Recent advances in scene reconstruction have pushed toward highly realistic modeling of autonomous driving (AD) environments using 3D Gaussian splatting. However, the resulting reconstructions remain closely tied to the original observations and struggle to support photorealistic synthesis of significantly altered or novel driving scenarios. This work introduces MADrive, a memory-augmented reconstruction framework designed to extend the capabilities of existing scene reconstruction methods by replacing observed vehicles with visually similar 3D assets retrieved from a large-scale external memory bank. Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg} car videos captured in the wild and present a retrieval module that finds the most similar car instances in the memory bank, reconstructs the corresponding 3D assets from video, and integrates them into the target scene through orientation alignment and relighting. The resulting replacements provide complete multi-view representations of vehicles in the scene, enabling photorealistic synthesis of substantially altered configurations, as demonstrated in our experiments. Project page: https://yandex-research.github.io/madrive/

MADrive: 메모리 증강형 운전 장면 모델링

MADrive: Memory-Augmented Driving Scene Modeling

초록

Support