CAD-Tokenizer: Op weg naar tekstgebaseerd CAD-prototyping via modaliteitsspecifieke tokenisatie

CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

September 25, 2025

Auteurs: Ruiyu Wang, Shizhao Sun, Weijian Ma, Jiang Bian

cs.AI

Samenvatting

Computer-Aided Design (CAD) is een fundamenteel onderdeel van industriële prototyping, waarbij modellen niet worden gedefinieerd door ruwe coördinaten, maar door constructiesequenties zoals schetsen en extrusies. Deze sequentiële structuur maakt zowel efficiënte prototype-initialisatie als latere bewerking mogelijk. Tekstgestuurde CAD-prototyping, dat Text-to-CAD-generatie en CAD-bewerking combineert, heeft het potentieel om het gehele ontwerpproces te stroomlijnen. Eerdere onderzoeken hebben deze setting echter niet verkend, voornamelijk omdat standaard tokenizers van grote taalmodelen (LLM's) CAD-sequenties opsplitsen in natuurlijke-taalfragmenten, waardoor ze geen primitief-niveau CAD-semantiek vastleggen en aandachtmodules belemmeren bij het modelleren van geometrische structuren. Wij veronderstellen dat een multimodale tokenisatiestrategie, afgestemd op de primitieve en structurele aard van CAD, effectievere representaties kan bieden. Daarom stellen we CAD-Tokenizer voor, een framework dat CAD-gegevens representeert met modalitiespecifieke tokens door gebruik te maken van een sequentiegebaseerde VQ-VAE met primitief-niveau pooling en beperkte decodering. Dit ontwerp produceert compacte, primitief-bewuste representaties die aansluiten bij de structurele aard van CAD. Toegepast op geïntegreerde tekstgestuurde CAD-prototyping, verbetert CAD-Tokenizer aanzienlijk het volgen van instructies en de generatiekwaliteit, wat resulteert in betere kwantitatieve en kwalitatieve prestaties vergeleken met zowel algemene LLM's als taakspecifieke baseline-modellen.

English

Computer-Aided Design (CAD) is a foundational component of industrial prototyping, where models are defined not by raw coordinates but by construction sequences such as sketches and extrusions. This sequential structure enables both efficient prototype initialization and subsequent editing. Text-guided CAD prototyping, which unifies Text-to-CAD generation and CAD editing, has the potential to streamline the entire design pipeline. However, prior work has not explored this setting, largely because standard large language model (LLM) tokenizers decompose CAD sequences into natural-language word pieces, failing to capture primitive-level CAD semantics and hindering attention modules from modeling geometric structure. We conjecture that a multimodal tokenization strategy, aligned with CAD's primitive and structural nature, can provide more effective representations. To this end, we propose CAD-Tokenizer, a framework that represents CAD data with modality-specific tokens using a sequence-based VQ-VAE with primitive-level pooling and constrained decoding. This design produces compact, primitive-aware representations that align with CAD's structural nature. Applied to unified text-guided CAD prototyping, CAD-Tokenizer significantly improves instruction following and generation quality, achieving better quantitative and qualitative performance over both general-purpose LLMs and task-specific baselines.