Utonia: Rumo a um Único Codificador para Todas as Nuvens de Pontos
Utonia: Toward One Encoder for All Point Clouds
March 3, 2026
Autores: Yujia Zhang, Xiaoyang Wu, Yunhan Yang, Xianzhe Fan, Han Li, Yuechen Zhang, Zehao Huang, Naiyan Wang, Hengshuang Zhao
cs.AI
Resumo
Sonhamos com um futuro onde as nuvens de pontos de todos os domínios possam unir-se para moldar um único modelo que beneficie a todos. Em direção a este objetivo, apresentamos a Utonia, um primeiro passo para treinar um único codificador de transformador para pontos, auto-supervisionado, através de diversos domínios, abrangendo sensoriamento remoto, LiDAR externo, sequências RGB-D internas, modelos CAD centrados em objetos e nuvens de pontos extraídas de vídeos exclusivamente RGB. Apesar das suas distintas geometrias de sensoriamento, densidades e premissas, a Utonia aprende um espaço de representação consistente que se transfere entre domínios. Esta unificação melhora a capacidade de percepção enquanto revela comportamentos emergentes intrigantes que surgem apenas quando os domínios são treinados em conjunto. Para além da perceção, observamos que as representações da Utonia também podem beneficiar o raciocínio incorporado e multimodal: condicionar políticas visão-linguagem-ação em características da Utonia melhora a manipulação robótica, e integrá-las em modelos de visão-linguagem produz ganhos no raciocínio espacial. Esperamos que a Utonia possa servir como um passo em direção a modelos de base para dados 3D esparsos e suportar aplicações subsequentes em RA/RV, robótica e condução autónoma.
English
We dream of a future where point clouds from all domains can come together to shape a single model that benefits them all. Toward this goal, we present Utonia, a first step toward training a single self-supervised point transformer encoder across diverse domains, spanning remote sensing, outdoor LiDAR, indoor RGB-D sequences, object-centric CAD models, and point clouds lifted from RGB-only videos. Despite their distinct sensing geometries, densities, and priors, Utonia learns a consistent representation space that transfers across domains. This unification improves perception capability while revealing intriguing emergent behaviors that arise only when domains are trained jointly. Beyond perception, we observe that Utonia representations can also benefit embodied and multimodal reasoning: conditioning vision-language-action policies on Utonia features improves robotic manipulation, and integrating them into vision-language models yields gains on spatial reasoning. We hope Utonia can serve as a step toward foundation models for sparse 3D data, and support downstream applications in AR/VR, robotics, and autonomous driving.