CrossOver: 3D-scène Cross-Modale Afstemming

CrossOver: 3D Scene Cross-Modal Alignment

February 20, 2025

Auteurs: Sayan Deb Sarkar, Ondrej Miksik, Marc Pollefeys, Daniel Barath, Iro Armeni

cs.AI

Samenvatting

Multi-modale 3D-objectherkenning heeft aanzienlijke aandacht gekregen, maar huidige benaderingen gaan vaak uit van volledige gegevensbeschikbaarheid en rigide uitlijning tussen alle modaliteiten. Wij presenteren CrossOver, een nieuw raamwerk voor cross-modale 3D-sceneherkenning via flexibele, scene-niveau modaliteitsuitlijning. In tegenstelling tot traditionele methoden die uitgelijnde modaliteitsgegevens vereisen voor elk objectexemplaar, leert CrossOver een uniforme, modaliteitsagnostische inbeddingsruimte voor scènes door modaliteiten - RGB-afbeeldingen, puntenwolken, CAD-modellen, plattegronden en tekstbeschrijvingen - uit te lijnen met versoepelde beperkingen en zonder expliciete objectsemantiek. Door gebruik te maken van dimensiespecifieke encoders, een meerfasig trainingspijplijn en emergent cross-modale gedragingen, ondersteunt CrossOver robuuste scèneretrieval en objectlokalisatie, zelfs bij ontbrekende modaliteiten. Evaluaties op de ScanNet- en 3RScan-datasets tonen de superieure prestaties aan over diverse metrieken, wat de aanpassingsvermogen voor real-world toepassingen in 3D-sceneherkenning benadrukt.

English

Multi-modal 3D object understanding has gained significant attention, yet current approaches often assume complete data availability and rigid alignment across all modalities. We present CrossOver, a novel framework for cross-modal 3D scene understanding via flexible, scene-level modality alignment. Unlike traditional methods that require aligned modality data for every object instance, CrossOver learns a unified, modality-agnostic embedding space for scenes by aligning modalities - RGB images, point clouds, CAD models, floorplans, and text descriptions - with relaxed constraints and without explicit object semantics. Leveraging dimensionality-specific encoders, a multi-stage training pipeline, and emergent cross-modal behaviors, CrossOver supports robust scene retrieval and object localization, even with missing modalities. Evaluations on ScanNet and 3RScan datasets show its superior performance across diverse metrics, highlighting adaptability for real-world applications in 3D scene understanding.