LoST: Токенизация по уровням семантики для трёхмерных форм

LoST: Level of Semantics Tokenization for 3D Shapes

March 18, 2026

Авторы: Niladri Shekhar Dutt, Zifan Shi, Paul Guerrero, Chun-Hao Paul Huang, Duygu Ceylan, Niloy J. Mitra, Xuelin Chen

cs.AI

Аннотация

Токенизация является фундаментальной техникой в генеративном моделировании различных модальностей. В частности, она играет ключевую роль в авторегрессионных (AR) моделях, которые в последнее время стали перспективным вариантом для 3D-генерации. Однако оптимальная токенизация 3D-форм остается открытым вопросом. Передовые (SOTA) методы в основном полагаются на иерархии геометрических уровней детализации (LoD), изначально разработанные для рендеринга и сжатия. Эти пространственные иерархии часто неэффективны с точки зрения использования токенов и лишены семантической согласованности для AR-моделирования. Мы предлагаем токенизацию по уровням семантики (LoST), которая упорядочивает токены по семантической значимости таким образом, что начальные префиксы декодируются в полные, правдоподобные формы, обладающие основной семантикой, а последующие токены уточняют специфичные для экземпляра геометрические и семантические детали. Для обучения LoST мы представляем Relational Inter-Distance Alignment (RIDA), новую функцию потерь для семантического выравнивания 3D, которая согласует реляционную структуру латентного пространства 3D-форм со структурой семантического пространства признаков DINO. Эксперименты показывают, что LoST достигает наилучшего восстановления, значительно превосходя предыдущие 3D-токенизаторы на основе LoD по метрикам как геометрического, так и семантического восстановления. Более того, LoST обеспечивает эффективную и качественную AR 3D-генерацию и позволяет решать такие задачи, как семантический поиск, используя при этом всего 0,1–10% токенов, необходимых предыдущим AR-моделям.

English

Tokenization is a fundamental technique in the generative modeling of various modalities. In particular, it plays a critical role in autoregressive (AR) models, which have recently emerged as a compelling option for 3D generation. However, optimal tokenization of 3D shapes remains an open question. State-of-the-art (SOTA) methods primarily rely on geometric level-of-detail (LoD) hierarchies, originally designed for rendering and compression. These spatial hierarchies are often token-inefficient and lack semantic coherence for AR modeling. We propose Level-of-Semantics Tokenization (LoST), which orders tokens by semantic salience, such that early prefixes decode into complete, plausible shapes that possess principal semantics, while subsequent tokens refine instance-specific geometric and semantic details. To train LoST, we introduce Relational Inter-Distance Alignment (RIDA), a novel 3D semantic alignment loss that aligns the relational structure of the 3D shape latent space with that of the semantic DINO feature space. Experiments show that LoST achieves SOTA reconstruction, surpassing previous LoD-based 3D shape tokenizers by large margins on both geometric and semantic reconstruction metrics. Moreover, LoST achieves efficient, high-quality AR 3D generation and enables downstream tasks like semantic retrieval, while using only 0.1%-10% of the tokens needed by prior AR models.