Point-MoE: К кросс-доменной обобщаемости в 3D семантической сегментации через подход "Смесь экспертов"

Point-MoE: Towards Cross-Domain Generalization in 3D Semantic Segmentation via Mixture-of-Experts

May 29, 2025

Авторы: Xuweiyi Chen, Wentao Zhou, Aruni RoyChowdhury, Zezhou Cheng

cs.AI

Аннотация

Хотя законы масштабирования произвели революцию в обработке естественного языка и компьютерном зрении, понимание 3D-облаков точек ещё не достигло этого уровня. Это можно объяснить как сравнительно меньшим масштабом 3D-датасетов, так и разнородными источниками самих данных. Облака точек захватываются различными сенсорами (например, камерами глубины, LiDAR) в разных областях (например, в помещении, на открытом воздухе), каждый из которых вносит уникальные паттерны сканирования, плотности выборки и семантические смещения. Такая гетерогенность доменов создаёт серьёзное препятствие для обучения унифицированных моделей в масштабе, особенно при реалистичном ограничении, что метки доменов обычно недоступны во время вывода. В данной работе мы предлагаем Point-MoE — архитектуру "Смеси экспертов", предназначенную для обеспечения крупномасштабной кросс-доменной обобщаемости в 3D-восприятии. Мы показываем, что стандартные базовые модели для облаков точек значительно теряют в производительности при обучении на смешанных доменных данных, тогда как Point-MoE с простой стратегией маршрутизации top-k может автоматически специализировать экспертов даже без доступа к меткам доменов. Наши эксперименты демонстрируют, что Point-MoE не только превосходит сильные базовые модели для многодоменных задач, но и лучше обобщается на неизвестные домены. Эта работа указывает на масштабируемый путь для понимания 3D: позволить модели самостоятельно обнаруживать структуру в разнообразных 3D-данных, а не навязывать её через ручную обработку или доменное управление.

English

While scaling laws have transformed natural language processing and computer vision, 3D point cloud understanding has yet to reach that stage. This can be attributed to both the comparatively smaller scale of 3D datasets, as well as the disparate sources of the data itself. Point clouds are captured by diverse sensors (e.g., depth cameras, LiDAR) across varied domains (e.g., indoor, outdoor), each introducing unique scanning patterns, sampling densities, and semantic biases. Such domain heterogeneity poses a major barrier towards training unified models at scale, especially under the realistic constraint that domain labels are typically inaccessible at inference time. In this work, we propose Point-MoE, a Mixture-of-Experts architecture designed to enable large-scale, cross-domain generalization in 3D perception. We show that standard point cloud backbones degrade significantly in performance when trained on mixed-domain data, whereas Point-MoE with a simple top-k routing strategy can automatically specialize experts, even without access to domain labels. Our experiments demonstrate that Point-MoE not only outperforms strong multi-domain baselines but also generalizes better to unseen domains. This work highlights a scalable path forward for 3D understanding: letting the model discover structure in diverse 3D data, rather than imposing it via manual curation or domain supervision.