MADrive: Geheugen-versterkte modellering van rijsituaties
MADrive: Memory-Augmented Driving Scene Modeling
June 26, 2025
Auteurs: Polina Karpikova, Daniil Selikhanovych, Kirill Struminsky, Ruslan Musaev, Maria Golitsyna, Dmitry Baranchuk
cs.AI
Samenvatting
Recente vooruitgang in scène-reconstructie heeft geleid tot zeer realistische modellering van autonome rij-omgevingen (AD) met behulp van 3D Gaussian splatting. De resulterende reconstructies blijven echter sterk verbonden aan de oorspronkelijke observaties en hebben moeite met het ondersteunen van fotorealistische synthese van aanzienlijk gewijzigde of nieuwe rijscenario's. Dit werk introduceert MADrive, een geheugen-augmented reconstructieframework dat is ontworpen om de mogelijkheden van bestaande scène-reconstructiemethoden uit te breiden door waargenomen voertuigen te vervangen door visueel vergelijkbare 3D-assets die worden opgehaald uit een grootschalige externe geheugenbank. Specifiek presenteren we MAD-Cars, een gecureerde dataset van {sim}70K 360{\deg} auto-video's die in het wild zijn vastgelegd, en introduceren we een retrievemodule die de meest vergelijkbare auto-instanties in de geheugenbank vindt, de bijbehorende 3D-assets uit video reconstrueert en ze integreert in de doelscène door middel van oriëntatie-uitlijning en herbelichting. De resulterende vervangingen bieden complete multi-view representaties van voertuigen in de scène, waardoor fotorealistische synthese van aanzienlijk gewijzigde configuraties mogelijk wordt, zoals aangetoond in onze experimenten. Projectpagina: https://yandex-research.github.io/madrive/
English
Recent advances in scene reconstruction have pushed toward highly realistic
modeling of autonomous driving (AD) environments using 3D Gaussian splatting.
However, the resulting reconstructions remain closely tied to the original
observations and struggle to support photorealistic synthesis of significantly
altered or novel driving scenarios. This work introduces MADrive, a
memory-augmented reconstruction framework designed to extend the capabilities
of existing scene reconstruction methods by replacing observed vehicles with
visually similar 3D assets retrieved from a large-scale external memory bank.
Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg}
car videos captured in the wild and present a retrieval module that finds the
most similar car instances in the memory bank, reconstructs the corresponding
3D assets from video, and integrates them into the target scene through
orientation alignment and relighting. The resulting replacements provide
complete multi-view representations of vehicles in the scene, enabling
photorealistic synthesis of substantially altered configurations, as
demonstrated in our experiments. Project page:
https://yandex-research.github.io/madrive/