LoST: Tokenización del Nivel de Semántica para Formas 3D
LoST: Level of Semantics Tokenization for 3D Shapes
March 18, 2026
Autores: Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen
cs.AI
Resumen
La tokenización es una técnica fundamental en el modelado generativo de diversas modalidades. En particular, desempeña un papel crítico en los modelos autorregresivos (AR), que recientemente han surgido como una opción atractiva para la generación 3D. Sin embargo, la tokenización óptima de formas 3D sigue siendo una cuestión abierta. Los métodos de vanguardia (SOTA) se basan principalmente en jerarquías geométricas de nivel de detalle (LoD), diseñadas originalmente para renderizado y compresión. Estas jerarquías espaciales suelen ser ineficientes en tokens y carecen de coherencia semántica para el modelado AR. Proponemos la Tokenización por Nivel de Semántica (LoST), que ordena los tokens por relevancia semántica, de modo que los prefijos iniciales se decodifiquen en formas completas y plausibles que posean la semántica principal, mientras que los tokens posteriores refinan los detalles geométricos y semánticos específicos de la instancia. Para entrenar LoST, introducimos la Alineación Relacional de Distancias Intermedias (RIDA), una novedosa pérdida de alineación semántica 3D que alinea la estructura relacional del espacio latente de la forma 3D con la del espacio de características semánticas DINO. Los experimentos muestran que LoST logra una reconstrucción SOTA, superando por amplios márgenes a los tokenizadores de formas 3D basados en LoD anteriores, tanto en métricas de reconstrucción geométrica como semántica. Además, LoST logra una generación 3D AR eficiente y de alta calidad, y permite tareas posteriores como la recuperación semántica, utilizando solo el 0,1%-10% de los tokens requeridos por modelos AR previos.
English
Tokenization is a fundamental technique in the generative modeling of various modalities. In particular, it plays a critical role in autoregressive (AR) models, which have recently emerged as a compelling option for 3D generation. However, optimal tokenization of 3D shapes remains an open question. State-of-the-art (SOTA) methods primarily rely on geometric level-of-detail (LoD) hierarchies, originally designed for rendering and compression. These spatial hierarchies are often token-inefficient and lack semantic coherence for AR modeling. We propose Level-of-Semantics Tokenization (LoST), which orders tokens by semantic salience, such that early prefixes decode into complete, plausible shapes that possess principal semantics, while subsequent tokens refine instance-specific geometric and semantic details. To train LoST, we introduce Relational Inter-Distance Alignment (RIDA), a novel 3D semantic alignment loss that aligns the relational structure of the 3D shape latent space with that of the semantic DINO feature space. Experiments show that LoST achieves SOTA reconstruction, surpassing previous LoD-based 3D shape tokenizers by large margins on both geometric and semantic reconstruction metrics. Moreover, LoST achieves efficient, high-quality AR 3D generation and enables downstream tasks like semantic retrieval, while using only 0.1%-10% of the tokens needed by prior AR models.