MADrive : Modélisation de scènes de conduite augmentée par mémoire

Résumé

Les récents progrès en reconstruction de scènes ont permis une modélisation hautement réaliste des environnements de conduite autonome (AD) grâce à l'utilisation de splatting 3D gaussien. Cependant, les reconstructions obtenues restent étroitement liées aux observations originales et peinent à soutenir la synthèse photoréaliste de scènes de conduite significativement modifiées ou nouvelles. Ce travail présente MADrive, un cadre de reconstruction augmenté par mémoire, conçu pour étendre les capacités des méthodes de reconstruction de scènes existantes en remplaçant les véhicules observés par des actifs 3D visuellement similaires, extraits d'une banque de mémoire externe à grande échelle. Plus précisément, nous publions MAD-Cars, un ensemble de données soigneusement sélectionné contenant environ 70 000 vidéos 360° de voitures capturées en conditions réelles, et présentons un module de recherche qui identifie les instances de voitures les plus similaires dans la banque de mémoire, reconstruit les actifs 3D correspondants à partir des vidéos, et les intègre dans la scène cible par alignement d'orientation et rééclairage. Les remplacements résultants offrent des représentations multi-vues complètes des véhicules dans la scène, permettant une synthèse photoréaliste de configurations substantiellement modifiées, comme le démontrent nos expériences. Page du projet : https://yandex-research.github.io/madrive/

English

Recent advances in scene reconstruction have pushed toward highly realistic modeling of autonomous driving (AD) environments using 3D Gaussian splatting. However, the resulting reconstructions remain closely tied to the original observations and struggle to support photorealistic synthesis of significantly altered or novel driving scenarios. This work introduces MADrive, a memory-augmented reconstruction framework designed to extend the capabilities of existing scene reconstruction methods by replacing observed vehicles with visually similar 3D assets retrieved from a large-scale external memory bank. Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg} car videos captured in the wild and present a retrieval module that finds the most similar car instances in the memory bank, reconstructs the corresponding 3D assets from video, and integrates them into the target scene through orientation alignment and relighting. The resulting replacements provide complete multi-view representations of vehicles in the scene, enabling photorealistic synthesis of substantially altered configurations, as demonstrated in our experiments. Project page: https://yandex-research.github.io/madrive/

MADrive : Modélisation de scènes de conduite augmentée par mémoire

MADrive: Memory-Augmented Driving Scene Modeling

Résumé

Support