MADrive: Speichererweiterte Modellierung von Fahrzeugumgebungen

Zusammenfassung

Jüngste Fortschritte in der Szeneriekonstruktion haben zu einer hochrealistischen Modellierung von Umgebungen für das autonome Fahren (AD) mithilfe von 3D-Gaußschen Splatting geführt. Die resultierenden Rekonstruktionen bleiben jedoch eng an die ursprünglichen Beobachtungen gebunden und haben Schwierigkeiten, die fotorealistische Synthese stark veränderter oder neuartiger Fahrszenarien zu unterstützen. Diese Arbeit stellt MADrive vor, ein speichergestütztes Rekonstruktionsframework, das darauf abzielt, die Fähigkeiten bestehender Szeneriekonstruktionsmethoden zu erweitern, indem beobachtete Fahrzeuge durch visuell ähnliche 3D-Assets ersetzt werden, die aus einer groß angelegten externen Speicherbank abgerufen werden. Konkret veröffentlichen wir MAD-Cars, einen kuratierten Datensatz von ca. 70.000 360°-Videos von Fahrzeugen, die in der freien Natur aufgenommen wurden, und präsentieren ein Retrieval-Modul, das die ähnlichsten Fahrzeuginstanzen in der Speicherbank findet, die entsprechenden 3D-Assets aus den Videos rekonstruiert und sie durch Orientierungsausrichtung und Beleuchtungsanpassung in die Zielszene integriert. Die resultierenden Ersetzungen bieten vollständige Mehransichtsdarstellungen von Fahrzeugen in der Szene und ermöglichen die fotorealistische Synthese erheblich veränderter Konfigurationen, wie in unseren Experimenten gezeigt wird. Projektseite: https://yandex-research.github.io/madrive/

English

Recent advances in scene reconstruction have pushed toward highly realistic modeling of autonomous driving (AD) environments using 3D Gaussian splatting. However, the resulting reconstructions remain closely tied to the original observations and struggle to support photorealistic synthesis of significantly altered or novel driving scenarios. This work introduces MADrive, a memory-augmented reconstruction framework designed to extend the capabilities of existing scene reconstruction methods by replacing observed vehicles with visually similar 3D assets retrieved from a large-scale external memory bank. Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg} car videos captured in the wild and present a retrieval module that finds the most similar car instances in the memory bank, reconstructs the corresponding 3D assets from video, and integrates them into the target scene through orientation alignment and relighting. The resulting replacements provide complete multi-view representations of vehicles in the scene, enabling photorealistic synthesis of substantially altered configurations, as demonstrated in our experiments. Project page: https://yandex-research.github.io/madrive/

MADrive: Speichererweiterte Modellierung von Fahrzeugumgebungen

MADrive: Memory-Augmented Driving Scene Modeling

Zusammenfassung

Support