LoST: Level of Semantics Tokenisierung für 3D-Formen
LoST: Level of Semantics Tokenization for 3D Shapes
March 18, 2026
Autoren: Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen
cs.AI
Zusammenfassung
Tokenisierung ist eine grundlegende Technik im generativen Modellieren verschiedener Modalitäten. Insbesondere spielt sie eine entscheidende Rolle in autoregressiven (AR) Modellen, die sich kürzlich als vielversprechende Option für die 3D-Generierung erwiesen haben. Die optimale Tokenisierung von 3D-Formen bleibt jedoch eine offene Frage. State-of-the-Art (SOTA) Methoden stützen sich hauptsächlich auf geometrische Detailgrad-Hierarchien (Level-of-Detail, LoD), die ursprünglich für Rendering und Kompression entwickelt wurden. Diese räumlichen Hierarchien sind oft token-ineffizient und weisen für die AR-Modellierung eine mangelnde semantische Kohärenz auf. Wir schlagen eine Tokenisierung nach semantischem Detailgrad (Level-of-Semantics Tokenization, LoST) vor, die Token nach ihrer semantischen Salienz anordnet, sodass frühe Präfixe zu vollständigen, plausiblen Formen mit Hauptsemantik decodiert werden, während nachfolgende Token instanzspezifische geometrische und semantische Details verfeinern. Um LoST zu trainieren, führen wir Relational Inter-Distance Alignment (RIDA) ein, eine neuartige 3D-semantische Ausrichtungsverlustfunktion, die die relationale Struktur des 3D-Form-Latenzraums mit der des semantischen DINO-Merkmalsraums in Einklang bringt. Experimente zeigen, dass LoST eine state-of-the-art Rekonstruktion erreicht und frühere, auf LoD basierende 3D-Form-Tokenizer bei geometrischen und semantischen Rekonstruktionsmetriken mit großem Abstand übertrifft. Darüber hinaus ermöglicht LoST eine effiziente, hochwertige AR-3D-Generierung und unterstützt nachgelagerte Aufgaben wie semantische Retrieval, während nur 0,1 %–10 % der Token benötigt werden, die von früheren AR-Modellen erforderlich waren.
English
Tokenization is a fundamental technique in the generative modeling of various modalities. In particular, it plays a critical role in autoregressive (AR) models, which have recently emerged as a compelling option for 3D generation. However, optimal tokenization of 3D shapes remains an open question. State-of-the-art (SOTA) methods primarily rely on geometric level-of-detail (LoD) hierarchies, originally designed for rendering and compression. These spatial hierarchies are often token-inefficient and lack semantic coherence for AR modeling. We propose Level-of-Semantics Tokenization (LoST), which orders tokens by semantic salience, such that early prefixes decode into complete, plausible shapes that possess principal semantics, while subsequent tokens refine instance-specific geometric and semantic details. To train LoST, we introduce Relational Inter-Distance Alignment (RIDA), a novel 3D semantic alignment loss that aligns the relational structure of the 3D shape latent space with that of the semantic DINO feature space. Experiments show that LoST achieves SOTA reconstruction, surpassing previous LoD-based 3D shape tokenizers by large margins on both geometric and semantic reconstruction metrics. Moreover, LoST achieves efficient, high-quality AR 3D generation and enables downstream tasks like semantic retrieval, while using only 0.1%-10% of the tokens needed by prior AR models.