LoST : Niveau de Tokenisation Sémantique pour les Formes 3D
LoST: Level of Semantics Tokenization for 3D Shapes
March 18, 2026
Auteurs: Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen
cs.AI
Résumé
La tokenisation est une technique fondamentale dans la modélisation générative de diverses modalités. Elle joue particulièrement un rôle crucial dans les modèles autorégressifs (AR), récemment apparus comme une option convaincante pour la génération 3D. Cependant, la tokenisation optimale des formes 3D reste une question ouverte. Les méthodes à l'état de l'art (SOTA) reposent principalement sur des hiérarchies de niveaux de détail (LoD) géométriques, conçues initialement pour le rendu et la compression. Ces hiérarchies spatiales sont souvent inefficaces en tokens et manquent de cohérence sémantique pour la modélisation AR. Nous proposons la Tokenisation par Niveau de Sémantique (LoST), qui ordonne les tokens par importance sémantique, de sorte que les préfixes initiaux se décodent en formes complètes et plausibles possédant la sémantique principale, tandis que les tokens suivants affinent les détails géométriques et sémantiques spécifiques à l'instance. Pour entraîner LoST, nous introduisons l'Alignement Relationnel des Inter-Distances (RIDA), une nouvelle fonction de perte d'alignement sémantique 3D qui aligne la structure relationnelle de l'espace latent des formes 3D avec celle de l'espace des caractéristiques sémantiques DINO. Les expériences montrent que LoST atteint une reconstruction SOTA, surpassant largement les tokenizers de formes 3D basés sur le LoD précédents, à la fois sur les métriques de reconstruction géométrique et sémantique. De plus, LoST permet une génération 3D AR efficace et de haute qualité, et autorise des tâches aval comme la recherche sémantique, tout en n'utilisant que 0,1 % à 10 % des tokens requis par les modèles AR antérieurs.
English
Tokenization is a fundamental technique in the generative modeling of various modalities. In particular, it plays a critical role in autoregressive (AR) models, which have recently emerged as a compelling option for 3D generation. However, optimal tokenization of 3D shapes remains an open question. State-of-the-art (SOTA) methods primarily rely on geometric level-of-detail (LoD) hierarchies, originally designed for rendering and compression. These spatial hierarchies are often token-inefficient and lack semantic coherence for AR modeling. We propose Level-of-Semantics Tokenization (LoST), which orders tokens by semantic salience, such that early prefixes decode into complete, plausible shapes that possess principal semantics, while subsequent tokens refine instance-specific geometric and semantic details. To train LoST, we introduce Relational Inter-Distance Alignment (RIDA), a novel 3D semantic alignment loss that aligns the relational structure of the 3D shape latent space with that of the semantic DINO feature space. Experiments show that LoST achieves SOTA reconstruction, surpassing previous LoD-based 3D shape tokenizers by large margins on both geometric and semantic reconstruction metrics. Moreover, LoST achieves efficient, high-quality AR 3D generation and enables downstream tasks like semantic retrieval, while using only 0.1%-10% of the tokens needed by prior AR models.