Утония: к единому энкодеру для всех облаков точек

Utonia: Toward One Encoder for All Point Clouds

March 3, 2026

Авторы: Yujia Zhang, Xiaoyang Wu, Yunhan Yang, Xianzhe Fan, Han Li, Yuechen Zhang, Zehao Huang, Naiyan Wang, Hengshuang Zhao

cs.AI

Аннотация

Мы мечтаем о будущем, в котором облака точек из всех областей смогут объединиться для создания единой модели, приносящей пользу всем. В рамках движения к этой цели мы представляем Utonia — первый шаг к обучению единого самообучающегося трансформер-энкодера для работы с разнородными данными: дистанционным зондированием, уличными лидарами, помещениями с RGB-D последовательностями, объектно-ориентированными CAD-моделями и облаками точек, полученными из RGB-видео. Несмотря на различия в геометрии съемки, плотности и априорных предположениях, Utonia изучает единое пространство представлений, которое обобщается across domains. Такая унификация повышает возможности восприятия и выявляет intriguing emergent behaviors, возникающие только при совместном обучении на разнородных данных. Помимо восприятия, мы наблюдаем, что представления Utonia также могут улучшать embodied и мультимодальные рассуждения: conditioning политик vision-language-action на features Utonia улучшает роботизированный manipulation, а их интеграция в vision-language модели дает прирост в spatial reasoning. Мы надеемся, что Utonia станет шагом к созданию foundation models для разреженных 3D данных и поддержит downstream applications в AR/VR, робототехнике и автономном вождении.

English

We dream of a future where point clouds from all domains can come together to shape a single model that benefits them all. Toward this goal, we present Utonia, a first step toward training a single self-supervised point transformer encoder across diverse domains, spanning remote sensing, outdoor LiDAR, indoor RGB-D sequences, object-centric CAD models, and point clouds lifted from RGB-only videos. Despite their distinct sensing geometries, densities, and priors, Utonia learns a consistent representation space that transfers across domains. This unification improves perception capability while revealing intriguing emergent behaviors that arise only when domains are trained jointly. Beyond perception, we observe that Utonia representations can also benefit embodied and multimodal reasoning: conditioning vision-language-action policies on Utonia features improves robotic manipulation, and integrating them into vision-language models yields gains on spatial reasoning. We hope Utonia can serve as a step toward foundation models for sparse 3D data, and support downstream applications in AR/VR, robotics, and autonomous driving.