MADrive: Modellazione delle Scene di Guida con Memoria Aumentata

Abstract

I recenti progressi nella ricostruzione di scene hanno spinto verso una modellazione altamente realistica degli ambienti di guida autonoma (AD) utilizzando lo splatting 3D con gaussiane. Tuttavia, le ricostruzioni risultanti rimangono strettamente legate alle osservazioni originali e faticano a supportare la sintesi fotorealistica di scenari di guida significativamente alterati o nuovi. Questo lavoro introduce MADrive, un framework di ricostruzione aumentato dalla memoria progettato per estendere le capacità dei metodi esistenti di ricostruzione di scene, sostituendo i veicoli osservati con asset 3D visivamente simili recuperati da un ampio archivio di memoria esterno. Nello specifico, rilasciamo MAD-Cars, un dataset curato di circa 70.000 video a 360° di automobili catturati in ambienti reali, e presentiamo un modulo di recupero che individua le istanze di auto più simili nell'archivio di memoria, ricostruisce i corrispondenti asset 3D dai video e li integra nella scena target attraverso l'allineamento dell'orientamento e il reilluminamento. Le sostituzioni risultanti forniscono rappresentazioni complete a più viste dei veicoli nella scena, consentendo la sintesi fotorealistica di configurazioni sostanzialmente alterate, come dimostrato nei nostri esperimenti. Pagina del progetto: https://yandex-research.github.io/madrive/

English

Recent advances in scene reconstruction have pushed toward highly realistic modeling of autonomous driving (AD) environments using 3D Gaussian splatting. However, the resulting reconstructions remain closely tied to the original observations and struggle to support photorealistic synthesis of significantly altered or novel driving scenarios. This work introduces MADrive, a memory-augmented reconstruction framework designed to extend the capabilities of existing scene reconstruction methods by replacing observed vehicles with visually similar 3D assets retrieved from a large-scale external memory bank. Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg} car videos captured in the wild and present a retrieval module that finds the most similar car instances in the memory bank, reconstructs the corresponding 3D assets from video, and integrates them into the target scene through orientation alignment and relighting. The resulting replacements provide complete multi-view representations of vehicles in the scene, enabling photorealistic synthesis of substantially altered configurations, as demonstrated in our experiments. Project page: https://yandex-research.github.io/madrive/

MADrive: Modellazione delle Scene di Guida con Memoria Aumentata

MADrive: Memory-Augmented Driving Scene Modeling

Abstract

Support