Utonia: Verso un unico codificatore per tutte le nuvole di punti

Utonia: Toward One Encoder for All Point Clouds

March 3, 2026

Autori: Yujia Zhang, Xiaoyang Wu, Yunhan Yang, Xianzhe Fan, Han Li, Yuechen Zhang, Zehao Huang, Naiyan Wang, Hengshuang Zhao

cs.AI

Abstract

Sogniamo un futuro in cui le nuvole di punti provenienti da tutti i domini possano convergere per formare un unico modello che le avvantaggi tutte. Verso questo obiettivo, presentiamo Utonia, un primo passo verso l'addestramento di un singolo codificatore transformer per punti, auto-supervisionato, attraverso domini diversi, che spaziano dal telerilevamento, ai LiDAR esterni, alle sequenze RGB-D indoor, ai modelli CAD object-centric, e alle nuvole di punti estratte da video esclusivamente RGB. Nonostante le loro distinte geometrie di acquisizione, densità e prior, Utonia apprende uno spazio di rappresentazione coerente che si trasferisce attraverso i domini. Questa unificazione migliora la capacità percettiva rivelando al contempo intriganti comportamenti emergenti che si manifestano solo quando i domini sono addestrati congiuntamente. Oltre alla percezione, osserviamo che le rappresentazioni di Utonia possono avvantaggiare anche il ragionamento embodied e multimodale: il condizionamento di policy visione-linguaggio-azione sulle caratteristiche di Utonia migliora la manipolazione robotica, e la loro integrazione nei modelli visione-linguaggio produce vantaggi nel ragionamento spaziale. Speriamo che Utonia possa rappresentare un passo verso modelli di fondazione per i dati 3D sparsi e supportare applicazioni a valle nella realtà aumentata/virtuale, nella robotica e nella guida autonoma.

English

We dream of a future where point clouds from all domains can come together to shape a single model that benefits them all. Toward this goal, we present Utonia, a first step toward training a single self-supervised point transformer encoder across diverse domains, spanning remote sensing, outdoor LiDAR, indoor RGB-D sequences, object-centric CAD models, and point clouds lifted from RGB-only videos. Despite their distinct sensing geometries, densities, and priors, Utonia learns a consistent representation space that transfers across domains. This unification improves perception capability while revealing intriguing emergent behaviors that arise only when domains are trained jointly. Beyond perception, we observe that Utonia representations can also benefit embodied and multimodal reasoning: conditioning vision-language-action policies on Utonia features improves robotic manipulation, and integrating them into vision-language models yields gains on spatial reasoning. We hope Utonia can serve as a step toward foundation models for sparse 3D data, and support downstream applications in AR/VR, robotics, and autonomous driving.