CrossOver: кросс-модальное выравнивание 3D-сцен

CrossOver: 3D Scene Cross-Modal Alignment

February 20, 2025

Авторы: Sayan Deb Sarkar, Ondrej Miksik, Marc Pollefeys, Daniel Barath, Iro Armeni

cs.AI

Аннотация

Мультимодальное понимание 3D-объектов привлекает значительное внимание, однако современные подходы часто предполагают полную доступность данных и жесткое согласование всех модальностей. Мы представляем CrossOver — новый фреймворк для кросс-модального понимания 3D-сцен через гибкое согласование модальностей на уровне сцены. В отличие от традиционных методов, требующих согласованных данных для каждого объекта, CrossOver обучает унифицированное, модально-независимое пространство вложений для сцен, согласовывая модальности — RGB-изображения, облака точек, CAD-модели, планы помещений и текстовые описания — с ослабленными ограничениями и без явной семантики объектов. Используя специализированные кодировщики для каждой размерности, многоэтапный процесс обучения и возникающие кросс-модальные взаимодействия, CrossOver обеспечивает надежное извлечение сцен и локализацию объектов даже при отсутствии некоторых модальностей. Оценки на наборах данных ScanNet и 3RScan демонстрируют его превосходную производительность по различным метрикам, подчеркивая адаптивность для реальных задач в области понимания 3D-сцен.

English

Multi-modal 3D object understanding has gained significant attention, yet current approaches often assume complete data availability and rigid alignment across all modalities. We present CrossOver, a novel framework for cross-modal 3D scene understanding via flexible, scene-level modality alignment. Unlike traditional methods that require aligned modality data for every object instance, CrossOver learns a unified, modality-agnostic embedding space for scenes by aligning modalities - RGB images, point clouds, CAD models, floorplans, and text descriptions - with relaxed constraints and without explicit object semantics. Leveraging dimensionality-specific encoders, a multi-stage training pipeline, and emergent cross-modal behaviors, CrossOver supports robust scene retrieval and object localization, even with missing modalities. Evaluations on ScanNet and 3RScan datasets show its superior performance across diverse metrics, highlighting adaptability for real-world applications in 3D scene understanding.