LoST: Niveau van Semantische Tokenisatie voor 3D-vormen

LoST: Level of Semantics Tokenization for 3D Shapes

March 18, 2026

Auteurs: Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen

cs.AI

Samenvatting

Tokenisatie is een fundamentele techniek in de generatieve modellering van verschillende modaliteiten. Met name speelt het een cruciale rol in autoregressieve (AR) modellen, die recentelijk naar voren zijn gekomen als een aantrekkelijke optie voor 3D-generatie. De optimale tokenisatie van 3D-vormen blijft echter een open vraag. State-of-the-art (SOTA) methodes steunen voornamelijk op geometrische level-of-detail (LoD) hiërarchieën, die oorspronkelijk zijn ontworpen voor rendering en compressie. Deze ruimtelijke hiërarchieën zijn vaak token-inefficiënt en missen semantische samenhang voor AR-modellering. Wij stellen Level-of-Semantics Tokenisatie (LoST) voor, waarbij tokens worden geordend op semantische salientie, zodanig dat vroege prefixen decoderen naar complete, plausibele vormen die de voornaamste semantiek bezitten, terwijl latere tokens instancespecifieke geometrische en semantische details verfijnen. Om LoST te trainen, introduceren wij Relational Inter-Distance Alignment (RIDA), een nieuwe 3D semantische aligneringsfunctie die de relationele structuur van de latente ruimte van de 3D-vorm uitlijnt met die van de semantische DINO-featureruimte. Experimenten tonen aan dat LoST SOTA-reconstructie bereikt, en eerdere op LoD gebaseerde 3D-vorm-tokeniseerders met grote marges overtreft op zowel geometrische als semantische reconstructiemetrieken. Bovendien bereikt LoST efficiënte, hoogkwalitatieve AR 3D-generatie en maakt het downstreamtaken zoals semantisch zoeken mogelijk, terwijl het slechts 0.1%-10% van de tokens gebruikt die eerdere AR-modellen nodig hadden.

English

Tokenization is a fundamental technique in the generative modeling of various modalities. In particular, it plays a critical role in autoregressive (AR) models, which have recently emerged as a compelling option for 3D generation. However, optimal tokenization of 3D shapes remains an open question. State-of-the-art (SOTA) methods primarily rely on geometric level-of-detail (LoD) hierarchies, originally designed for rendering and compression. These spatial hierarchies are often token-inefficient and lack semantic coherence for AR modeling. We propose Level-of-Semantics Tokenization (LoST), which orders tokens by semantic salience, such that early prefixes decode into complete, plausible shapes that possess principal semantics, while subsequent tokens refine instance-specific geometric and semantic details. To train LoST, we introduce Relational Inter-Distance Alignment (RIDA), a novel 3D semantic alignment loss that aligns the relational structure of the 3D shape latent space with that of the semantic DINO feature space. Experiments show that LoST achieves SOTA reconstruction, surpassing previous LoD-based 3D shape tokenizers by large margins on both geometric and semantic reconstruction metrics. Moreover, LoST achieves efficient, high-quality AR 3D generation and enables downstream tasks like semantic retrieval, while using only 0.1%-10% of the tokens needed by prior AR models.