CrossOver: 3D-Szenen-Cross-Modale-Ausrichtung

CrossOver: 3D Scene Cross-Modal Alignment

February 20, 2025

Autoren: Sayan Deb Sarkar, Ondrej Miksik, Marc Pollefeys, Daniel Barath, Iro Armeni

cs.AI

Zusammenfassung

Die multimodale 3D-Objekterkennung hat erhebliche Aufmerksamkeit erlangt, doch aktuelle Ansätze gehen oft von vollständiger Datenverfügbarkeit und starrer Ausrichtung über alle Modalitäten hinweg aus. Wir präsentieren CrossOver, ein neuartiges Framework für die cross-modale 3D-Szenenerkennung durch flexible, szenenbasierte Modalitätsausrichtung. Im Gegensatz zu traditionellen Methoden, die ausgerichtete Modalitätsdaten für jede Objektinstanz erfordern, lernt CrossOver einen einheitlichen, modalitätsunabhängigen Einbettungsraum für Szenen, indem es Modalitäten – RGB-Bilder, Punktwolken, CAD-Modelle, Grundrisse und Textbeschreibungen – mit gelockerten Einschränkungen und ohne explizite Objektsemantik ausrichtet. Durch die Nutzung dimensionsspezifischer Encoder, einer mehrstufigen Trainingspipeline und emergenten cross-modalen Verhaltensweisen unterstützt CrossOver robuste Szenenabfrage und Objektlokalisierung, selbst bei fehlenden Modalitäten. Evaluierungen auf den Datensätzen ScanNet und 3RScan zeigen seine überlegene Leistung über diverse Metriken hinweg und unterstreichen die Anpassungsfähigkeit für reale Anwendungen in der 3D-Szenenerkennung.

English

Multi-modal 3D object understanding has gained significant attention, yet current approaches often assume complete data availability and rigid alignment across all modalities. We present CrossOver, a novel framework for cross-modal 3D scene understanding via flexible, scene-level modality alignment. Unlike traditional methods that require aligned modality data for every object instance, CrossOver learns a unified, modality-agnostic embedding space for scenes by aligning modalities - RGB images, point clouds, CAD models, floorplans, and text descriptions - with relaxed constraints and without explicit object semantics. Leveraging dimensionality-specific encoders, a multi-stage training pipeline, and emergent cross-modal behaviors, CrossOver supports robust scene retrieval and object localization, even with missing modalities. Evaluations on ScanNet and 3RScan datasets show its superior performance across diverse metrics, highlighting adaptability for real-world applications in 3D scene understanding.