MADrive: Modelado de Escenas de Conducción Aumentado con Memoria
MADrive: Memory-Augmented Driving Scene Modeling
June 26, 2025
Autores: Polina Karpikova, Daniil Selikhanovych, Kirill Struminsky, Ruslan Musaev, Maria Golitsyna, Dmitry Baranchuk
cs.AI
Resumen
Los avances recientes en la reconstrucción de escenas han impulsado el modelado altamente realista de entornos de conducción autónoma (AD) mediante el uso de splatting 3D con Gaussianas. Sin embargo, las reconstrucciones resultantes siguen estrechamente vinculadas a las observaciones originales y tienen dificultades para respaldar la síntesis fotorrealista de escenarios de conducción significativamente alterados o novedosos. Este trabajo presenta MADrive, un marco de reconstrucción aumentado con memoria diseñado para extender las capacidades de los métodos existentes de reconstrucción de escenas, reemplazando los vehículos observados con activos 3D visualmente similares recuperados de un banco de memoria externo a gran escala. Específicamente, presentamos MAD-Cars, un conjunto de datos curado de aproximadamente 70K videos de 360° de automóviles capturados en entornos reales, y un módulo de recuperación que encuentra las instancias de automóviles más similares en el banco de memoria, reconstruye los activos 3D correspondientes a partir del video y los integra en la escena objetivo mediante alineación de orientación y reiluminación. Los reemplazos resultantes proporcionan representaciones completas de vehículos en la escena desde múltiples vistas, permitiendo la síntesis fotorrealista de configuraciones sustancialmente alteradas, como se demuestra en nuestros experimentos. Página del proyecto: https://yandex-research.github.io/madrive/
English
Recent advances in scene reconstruction have pushed toward highly realistic
modeling of autonomous driving (AD) environments using 3D Gaussian splatting.
However, the resulting reconstructions remain closely tied to the original
observations and struggle to support photorealistic synthesis of significantly
altered or novel driving scenarios. This work introduces MADrive, a
memory-augmented reconstruction framework designed to extend the capabilities
of existing scene reconstruction methods by replacing observed vehicles with
visually similar 3D assets retrieved from a large-scale external memory bank.
Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg}
car videos captured in the wild and present a retrieval module that finds the
most similar car instances in the memory bank, reconstructs the corresponding
3D assets from video, and integrates them into the target scene through
orientation alignment and relighting. The resulting replacements provide
complete multi-view representations of vehicles in the scene, enabling
photorealistic synthesis of substantially altered configurations, as
demonstrated in our experiments. Project page:
https://yandex-research.github.io/madrive/