CrossOver: Alineación Multimodal de Escenas 3D

CrossOver: 3D Scene Cross-Modal Alignment

February 20, 2025

Autores: Sayan Deb Sarkar, Ondrej Miksik, Marc Pollefeys, Daniel Barath, Iro Armeni

cs.AI

Resumen

La comprensión multimodal de objetos 3D ha ganado una atención significativa, aunque los enfoques actuales suelen asumir la disponibilidad completa de datos y una alineación rígida entre todas las modalidades. Presentamos CrossOver, un marco novedoso para la comprensión de escenas 3D multimodal mediante una alineación flexible a nivel de escena. A diferencia de los métodos tradicionales que requieren datos de modalidades alineadas para cada instancia de objeto, CrossOver aprende un espacio de incrustación unificado y agnóstico a las modalidades para escenas alineando modalidades —imágenes RGB, nubes de puntos, modelos CAD, planos de planta y descripciones textuales— con restricciones relajadas y sin semántica explícita de objetos. Al aprovechar codificadores específicos por dimensión, una canalización de entrenamiento multietapa y comportamientos multimodales emergentes, CrossOver permite una recuperación robusta de escenas y localización de objetos, incluso con modalidades faltantes. Las evaluaciones en los conjuntos de datos ScanNet y 3RScan muestran su rendimiento superior en diversas métricas, destacando su adaptabilidad para aplicaciones del mundo real en la comprensión de escenas 3D.

English

Multi-modal 3D object understanding has gained significant attention, yet current approaches often assume complete data availability and rigid alignment across all modalities. We present CrossOver, a novel framework for cross-modal 3D scene understanding via flexible, scene-level modality alignment. Unlike traditional methods that require aligned modality data for every object instance, CrossOver learns a unified, modality-agnostic embedding space for scenes by aligning modalities - RGB images, point clouds, CAD models, floorplans, and text descriptions - with relaxed constraints and without explicit object semantics. Leveraging dimensionality-specific encoders, a multi-stage training pipeline, and emergent cross-modal behaviors, CrossOver supports robust scene retrieval and object localization, even with missing modalities. Evaluations on ScanNet and 3RScan datasets show its superior performance across diverse metrics, highlighting adaptability for real-world applications in 3D scene understanding.