Utonia: Auf dem Weg zu einem Encoder für alle Punktwolken
Utonia: Toward One Encoder for All Point Clouds
March 3, 2026
Autoren: Yujia Zhang, Xiaoyang Wu, Yunhan Yang, Xianzhe Fan, Han Li, Yuechen Zhang, Zehao Huang, Naiyan Wang, Hengshuang Zhao
cs.AI
Zusammenfassung
Wir träumen von einer Zukunft, in der Punktwolken aus allen Domänen zusammenkommen können, um ein einziges Modell zu formen, das allen zugutekommt. Als Schritt in diese Richtung präsentieren wir Utonia, einen ersten Ansatz zum Training eines einzigen selbstüberwachten Point-Transformer-Encoders über verschiedene Domänen hinweg – von der Fernerkundung über Outdoor-LiDAR, Indoor-RGB-D-Sequenzen und objektzentrierten CAD-Modellen bis hin zu Punktwolken, die aus reinen RGB-Videos extrahiert wurden. Trotz ihrer unterschiedlichen Erfassungsgeometrien, Dichten und Vorannahmen lernt Utonia einen konsistenten Repräsentationsraum, der domänenübergreifend transferierbar ist. Diese Vereinheitlichung verbessert die Wahrnehmungsfähigkeit und offenbart zugleich faszinierende emergente Verhaltensweisen, die nur bei gemeinsamer Trainierung der Domänen auftreten. Über die Wahrnehmung hinaus beobachten wir, dass Utonia-Repräsentationen auch embodiedes und multimodales Reasoning unterstützen können: Die Konditionierung von Vision-Language-Action-Policies auf Utonia-Merkmale verbessert die robotische Manipulation, und ihre Integration in Vision-Language-Modelle führt zu Fortschritten im räumlichen Schließen. Wir hoffen, dass Utonia als Schritt hin zu Foundation Models für sparse 3D-Daten dienen und nachgelagerte Anwendungen in AR/VR, Robotik und autonomen Fahren unterstützen kann.
English
We dream of a future where point clouds from all domains can come together to shape a single model that benefits them all. Toward this goal, we present Utonia, a first step toward training a single self-supervised point transformer encoder across diverse domains, spanning remote sensing, outdoor LiDAR, indoor RGB-D sequences, object-centric CAD models, and point clouds lifted from RGB-only videos. Despite their distinct sensing geometries, densities, and priors, Utonia learns a consistent representation space that transfers across domains. This unification improves perception capability while revealing intriguing emergent behaviors that arise only when domains are trained jointly. Beyond perception, we observe that Utonia representations can also benefit embodied and multimodal reasoning: conditioning vision-language-action policies on Utonia features improves robotic manipulation, and integrating them into vision-language models yields gains on spatial reasoning. We hope Utonia can serve as a step toward foundation models for sparse 3D data, and support downstream applications in AR/VR, robotics, and autonomous driving.