MADrive：メモリ拡張型運転シーンモデリング

要旨

最近のシーン再構成技術の進展により、3Dガウシアンスプラッティングを用いた自動運転（AD）環境の高度にリアルなモデリングが進められています。しかし、得られた再構成結果は元の観測に強く依存しており、大幅に変更されたり新しい運転シナリオのフォトリアルな合成をサポートするには限界があります。本研究では、MADriveを紹介します。これは、既存のシーン再構築手法の能力を拡張するために設計されたメモリ拡張型再構成フレームワークで、観測された車両を大規模な外部メモリバンクから検索された視覚的に類似した3Dアセットに置き換えます。具体的には、MAD-Carsという約70,000の360度車両ビデオからなるキュレーションデータセットを公開し、メモリバンク内で最も類似した車両インスタンスを検索し、ビデオから対応する3Dアセットを再構成し、向き合わせとリライティングを通じてターゲットシーンに統合する検索モジュールを提示します。この置換により、シーン内の車両の完全な多視点表現が提供され、実験で示されているように、大幅に変更された構成のフォトリアルな合成が可能になります。プロジェクトページ: https://yandex-research.github.io/madrive/

English

Recent advances in scene reconstruction have pushed toward highly realistic modeling of autonomous driving (AD) environments using 3D Gaussian splatting. However, the resulting reconstructions remain closely tied to the original observations and struggle to support photorealistic synthesis of significantly altered or novel driving scenarios. This work introduces MADrive, a memory-augmented reconstruction framework designed to extend the capabilities of existing scene reconstruction methods by replacing observed vehicles with visually similar 3D assets retrieved from a large-scale external memory bank. Specifically, we release MAD-Cars, a curated dataset of {sim}70K 360{\deg} car videos captured in the wild and present a retrieval module that finds the most similar car instances in the memory bank, reconstructs the corresponding 3D assets from video, and integrates them into the target scene through orientation alignment and relighting. The resulting replacements provide complete multi-view representations of vehicles in the scene, enabling photorealistic synthesis of substantially altered configurations, as demonstrated in our experiments. Project page: https://yandex-research.github.io/madrive/

MADrive：メモリ拡張型運転シーンモデリング

MADrive: Memory-Augmented Driving Scene Modeling

要旨

Support