MADrive: Моделирование сцен вождения с использованием памяти
MADrive: Memory-Augmented Driving Scene Modeling
June 26, 2025
Авторы: Polina Karpikova, Daniil Selikhanovych, Kirill Struminsky, Ruslan Musaev, Maria Golitsyna, Dmitry Baranchuk
cs.AI
Аннотация
Последние достижения в области реконструкции сцен позволили добиться высокой реалистичности моделирования сред для автономного вождения (AD) с использованием 3D-гауссовых сплатов. Однако полученные реконструкции остаются тесно связанными с исходными наблюдениями и не способны поддерживать фотореалистичный синтез значительно измененных или новых сценариев вождения. В данной работе представлен MADrive — фреймворк для реконструкции сцен с использованием памяти, предназначенный для расширения возможностей существующих методов реконструкции путем замены наблюдаемых транспортных средств на визуально схожие 3D-ассеты, извлеченные из крупномасштабной внешней базы данных. В частности, мы представляем MAD-Cars — тщательно отобранный набор данных, содержащий около 70 тысяч 360-градусных видеороликов автомобилей, снятых в реальных условиях, а также модуль поиска, который находит наиболее похожие экземпляры автомобилей в базе данных, реконструирует соответствующие 3D-ассеты из видео и интегрирует их в целевую сцену через выравнивание ориентации и переосвещение. Полученные замены обеспечивают полное многовидовое представление транспортных средств в сцене, что позволяет создавать фотореалистичный синтез существенно измененных конфигураций, как показано в наших экспериментах. Страница проекта: https://yandex-research.github.io/madrive/
English
Recent advances in scene reconstruction have pushed toward highly realistic
modeling of autonomous driving (AD) environments using 3D Gaussian splatting.
However, the resulting reconstructions remain closely tied to the original
observations and struggle to support photorealistic synthesis of significantly
altered or novel driving scenarios. This work introduces MADrive, a
memory-augmented reconstruction framework designed to extend the capabilities
of existing scene reconstruction methods by replacing observed vehicles with
visually similar 3D assets retrieved from a large-scale external memory bank.
Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg}
car videos captured in the wild and present a retrieval module that finds the
most similar car instances in the memory bank, reconstructs the corresponding
3D assets from video, and integrates them into the target scene through
orientation alignment and relighting. The resulting replacements provide
complete multi-view representations of vehicles in the scene, enabling
photorealistic synthesis of substantially altered configurations, as
demonstrated in our experiments. Project page:
https://yandex-research.github.io/madrive/