LoST: Livello di Tokenizzazione Semantica per Forme 3D
LoST: Level of Semantics Tokenization for 3D Shapes
March 18, 2026
Autori: Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen
cs.AI
Abstract
La tokenizzazione è una tecnica fondamentale nella modellazione generativa di varie modalità. In particolare, svolge un ruolo critico nei modelli autoregressivi (AR), recentemente emersi come un'opzione convincente per la generazione 3D. Tuttavia, la tokenizzazione ottimale delle forme 3D rimane una questione aperta. I metodi allo stato dell'arte si basano principalmente su gerarchie geometriche di livello di dettaglio (LoD), originariamente progettate per il rendering e la compressione. Queste gerarchie spaziali sono spesso inefficienti in termini di token e mancano di coerenza semantica per la modellazione AR. Proponiamo la Tokenizzazione a Livello di Semantica (LoST), che ordina i token in base alla rilevanza semantica, in modo che i prefissi iniziali decodifichino in forme complete e plausibili dotate di semantiche principali, mentre i token successivi perfezionano i dettagli geometrici e semantici specifici dell'istanza. Per addestrare LoST, introduciamo l'Allineamento della Struttura Relazionale delle Distanze Intermedie (RIDA), una nuova loss di allineamento semantico 3D che allinea la struttura relazionale dello spazio latente della forma 3D con quella dello spazio delle feature semantiche di DINO. Gli esperimenti mostrano che LoST raggiunge una ricostruzione allo stato dell'arte, superando di ampio margine i precedenti tokenizzatori di forme 3D basati su LoD sia nelle metriche di ricostruzione geometrica che semantica. Inoltre, LoST consente una generazione AR 3D efficiente e di alta qualità e abilita task downstream come il retrieval semantico, utilizzando solo lo 0,1%-10% dei token richiesti dai precedenti modelli AR.
English
Tokenization is a fundamental technique in the generative modeling of various modalities. In particular, it plays a critical role in autoregressive (AR) models, which have recently emerged as a compelling option for 3D generation. However, optimal tokenization of 3D shapes remains an open question. State-of-the-art (SOTA) methods primarily rely on geometric level-of-detail (LoD) hierarchies, originally designed for rendering and compression. These spatial hierarchies are often token-inefficient and lack semantic coherence for AR modeling. We propose Level-of-Semantics Tokenization (LoST), which orders tokens by semantic salience, such that early prefixes decode into complete, plausible shapes that possess principal semantics, while subsequent tokens refine instance-specific geometric and semantic details. To train LoST, we introduce Relational Inter-Distance Alignment (RIDA), a novel 3D semantic alignment loss that aligns the relational structure of the 3D shape latent space with that of the semantic DINO feature space. Experiments show that LoST achieves SOTA reconstruction, surpassing previous LoD-based 3D shape tokenizers by large margins on both geometric and semantic reconstruction metrics. Moreover, LoST achieves efficient, high-quality AR 3D generation and enables downstream tasks like semantic retrieval, while using only 0.1%-10% of the tokens needed by prior AR models.