CrossOver : Alignement intermodal de scènes 3D

CrossOver: 3D Scene Cross-Modal Alignment

February 20, 2025

Auteurs: Sayan Deb Sarkar, Ondrej Miksik, Marc Pollefeys, Daniel Barath, Iro Armeni

cs.AI

Résumé

La compréhension multi-modale des objets 3D a suscité un intérêt considérable, mais les approches actuelles supposent souvent une disponibilité complète des données et un alignement rigide entre toutes les modalités. Nous présentons CrossOver, un cadre novateur pour la compréhension inter-modale des scènes 3D via un alignement flexible des modalités au niveau de la scène. Contrairement aux méthodes traditionnelles qui nécessitent des données de modalités alignées pour chaque instance d'objet, CrossOver apprend un espace d'embedding unifié et agnostique aux modalités pour les scènes en alignant les modalités - images RGB, nuages de points, modèles CAO, plans d'étage et descriptions textuelles - avec des contraintes assouplies et sans sémantique explicite des objets. En tirant parti d'encodeurs spécifiques à la dimensionnalité, d'un pipeline d'entraînement multi-étapes et de comportements inter-modaux émergents, CrossOver prend en charge la recherche robuste de scènes et la localisation d'objets, même avec des modalités manquantes. Les évaluations sur les ensembles de données ScanNet et 3RScan montrent ses performances supérieures sur diverses métriques, mettant en évidence son adaptabilité pour des applications réelles dans la compréhension des scènes 3D.

English

Multi-modal 3D object understanding has gained significant attention, yet current approaches often assume complete data availability and rigid alignment across all modalities. We present CrossOver, a novel framework for cross-modal 3D scene understanding via flexible, scene-level modality alignment. Unlike traditional methods that require aligned modality data for every object instance, CrossOver learns a unified, modality-agnostic embedding space for scenes by aligning modalities - RGB images, point clouds, CAD models, floorplans, and text descriptions - with relaxed constraints and without explicit object semantics. Leveraging dimensionality-specific encoders, a multi-stage training pipeline, and emergent cross-modal behaviors, CrossOver supports robust scene retrieval and object localization, even with missing modalities. Evaluations on ScanNet and 3RScan datasets show its superior performance across diverse metrics, highlighting adaptability for real-world applications in 3D scene understanding.