Optimale Turkse Subwoordstrategieën op Schaal: Systematische Evaluatie van de Wisselwerking tussen Data, Vocabulaire en Morfologie

Optimal Turkish Subword Strategies at Scale: Systematic Evaluation of Data, Vocabulary, Morphology Interplay

February 6, 2026

Auteurs: Duygu Altinok

cs.AI

Samenvatting

Tokenisatie is een cruciale ontwerpkeuze voor neurale taalmodellering in morfologisch rijke talen (MRL's) zoals het Turks, waar productieve agglutinatie zowel de vocabulaire-efficiëntie als de morfologische getrouwheid onder druk zet. Eerdere studies hebben tokenizer-families en vocabulairegroottes onderzocht, maar variëren doorgaans (i) het vocabulaire zonder de trainingscorpus van de tokenizer systematisch te controleren, (ii) bieden beperkte intrinsieke diagnostiek, en (iii) evalueren een smalle reeks downstream-taken. Wij presenteren de eerste uitgebreide, principiële studie naar Turkse subword-tokenisatie; een "subwords manifest", dat gezamenlijk vocabulairegrootte en de grootte van de tokenizer-trainingscorpus varieert (koppeling van data en vocabulaire), meerdere tokenizer-families vergelijkt binnen gelijke parameterbudgetten (WordPiece, morfologieniveau en character-baselines), en evalueert over semantische (NLI, STS, sentimentanalyse, NER), syntactische (POS, dependency parsing) en morfologiegevoelige probes. Om te verklaren waarom tokenizers slagen of falen, introduceren we een morfologiebewuste diagnostische toolkit die verder gaat dan grove aggregaten naar boundary-level micro/macro F1, ontkoppelde lemma-atomiciteit versus surface boundary hits, over/onder-segmentatie-indices, karakter/woord-editie-afstanden (CER/WER), continuatiepercentages, en dekking van affixtypen en token-level atomiciteit. Onze bijdragen zijn viervoudig: (i) een systematisch onderzoek naar de triade vocabulaire-corpus-succes; (ii) een uniform, morfologiebewust evaluatiekader dat intrinsieke diagnostiek koppelt aan extrinsieke resultaten; (iii) gecontroleerde vergelijkingen die identificeren wanneer tokenisatie op karakterniveau en morfologieniveau rendeert; en (iv) een open-source release van evaluatiecode, tokenizer-pipelines en modellen. Als eerste werk in zijn soort biedt dit "subwords manifest" bruikbare richtlijnen voor het bouwen van effectieve tokenizers in MRL's en legt het een reproduceerbare basis voor toekomstig onderzoek.

English

Tokenization is a pivotal design choice for neural language modeling in morphologically rich languages (MRLs) such as Turkish, where productive agglutination challenges both vocabulary efficiency and morphological fidelity. Prior studies have explored tokenizer families and vocabulary sizes but typically (i) vary vocabulary without systematically controlling the tokenizer's training corpus, (ii) provide limited intrinsic diagnostics, and (iii) evaluate a narrow slice of downstream tasks. We present the first comprehensive, principled study of Turkish subword tokenization; a "subwords manifest", that jointly varies vocabulary size and tokenizer training corpus size (data and vocabulary coupling), compares multiple tokenizer families under matched parameter budgets (WordPiece, morphology level, and character baselines), and evaluates across semantic (NLI, STS, sentiment analysis, NER), syntactic (POS, dependency parsing), and morphology-sensitive probes. To explain why tokenizers succeed or fail, we introduce a morphology-aware diagnostic toolkit that goes beyond coarse aggregates to boundary-level micro/macro F1, decoupled lemma atomicity vs. surface boundary hits, over/under-segmentation indices, character/word edit distances (CER/WER), continuation rates, and affix-type coverage and token-level atomicity. Our contributions are fourfold: (i) a systematic investigation of the vocabulary-corpus-success triad; (ii) a unified, morphology-aware evaluation framework linking intrinsic diagnostics to extrinsic outcomes; (iii) controlled comparisons identifying when character-level and morphology-level tokenization pay off; and (iv) an open-source release of evaluation code, tokenizer pipelines, and models. As the first work of its kind, this "subwords manifest" delivers actionable guidance for building effective tokenizers in MRLs and establishes a reproducible foundation for future research.