MADrive: Modelagem de Cenários de Condução Aumentada por Memória
MADrive: Memory-Augmented Driving Scene Modeling
June 26, 2025
Autores: Polina Karpikova, Daniil Selikhanovych, Kirill Struminsky, Ruslan Musaev, Maria Golitsyna, Dmitry Baranchuk
cs.AI
Resumo
Os avanços recentes na reconstrução de cenas têm impulsionado a modelagem altamente realista de ambientes de condução autônoma (AD) usando o splatting de Gaussianas 3D. No entanto, as reconstruções resultantes permanecem fortemente vinculadas às observações originais e têm dificuldade em suportar a síntese fotorrealista de cenários de condução significativamente alterados ou novos. Este trabalho apresenta o MADrive, uma estrutura de reconstrução aumentada por memória projetada para estender as capacidades dos métodos existentes de reconstrução de cenas, substituindo veículos observados por ativos 3D visualmente semelhantes recuperados de um banco de memória externo em grande escala. Especificamente, lançamos o MAD-Cars, um conjunto de dados curado de ~70K vídeos de carros em 360° capturados em ambientes reais, e apresentamos um módulo de recuperação que encontra as instâncias de carros mais semelhantes no banco de memória, reconstrói os ativos 3D correspondentes a partir do vídeo e os integra na cena alvo por meio de alinhamento de orientação e reiluminação. As substituições resultantes fornecem representações completas de veículos na cena em múltiplas visões, permitindo a síntese fotorrealista de configurações substancialmente alteradas, conforme demonstrado em nossos experimentos. Página do projeto: https://yandex-research.github.io/madrive/
English
Recent advances in scene reconstruction have pushed toward highly realistic
modeling of autonomous driving (AD) environments using 3D Gaussian splatting.
However, the resulting reconstructions remain closely tied to the original
observations and struggle to support photorealistic synthesis of significantly
altered or novel driving scenarios. This work introduces MADrive, a
memory-augmented reconstruction framework designed to extend the capabilities
of existing scene reconstruction methods by replacing observed vehicles with
visually similar 3D assets retrieved from a large-scale external memory bank.
Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg}
car videos captured in the wild and present a retrieval module that finds the
most similar car instances in the memory bank, reconstructs the corresponding
3D assets from video, and integrates them into the target scene through
orientation alignment and relighting. The resulting replacements provide
complete multi-view representations of vehicles in the scene, enabling
photorealistic synthesis of substantially altered configurations, as
demonstrated in our experiments. Project page:
https://yandex-research.github.io/madrive/