大規模における最適なトルコ語サブワード戦略：データ、語彙、形態論の相互作用に関する体系的評価

Optimal Turkish Subword Strategies at Scale: Systematic Evaluation of Data, Vocabulary, Morphology Interplay

February 6, 2026

著者: Duygu Altinok

cs.AI

要旨

トークン化は、トルコ語のような形態素豊富な言語（MRL）におけるニューラル言語モデリングの重要な設計選択である。このような言語では、生産的な膠着構造が語彙効率と形態素忠実性の両方に課題をもたらす。従来の研究では、トークナイザファミリーや語彙サイズが探究されてきたが、一般的に(i)トークナイザの訓練コーパスを体系的に制御せずに語彙を変更し、(ii)限定的な内在的診断しか提供せず、(iii)下流タスクのごく一部のみを評価している。本研究は、トルコ語のサブワードトークン化に関する初の包括的かつ原理に基づいた研究、「サブワードマニフェスト」を提示する。これは、語彙サイズとトークナイザ訓練コーパスサイズ（データと語彙の連動）を同時に変化させ、同一のパラメータ予算下で複数のトークナイザファミリー（WordPiece、形態素レベル、文字ベースライン）を比較し、意味的（NLI、STS、感情分析、NER）、統語的（品詞タグ付け、依存関係解析）、形態素に敏感なプローブ課題にわたって評価する。トークナイザの成功・失敗理由を説明するため、粗い集計値を超えて、境界レベルでのミクロ/マクロF1、分離された語幹原子性と表層境界ヒット、過剰/過少分割指標、文字/単語編集距離（CER/WER）、継続率、接辞タイプのカバレッジおよびトークンレベル原子性を分析する、形態素を考慮した診断ツールキットを導入する。我々の貢献は四つある：(i) 語彙-コーパス-成功の三要素に関する体系的な調査；(ii) 内在的診断と外在的結果を結び付ける統合された形態素考慮評価フレームワーク；(iii) 文字レベルおよび形態素レベルのトークン化が効果を発揮する条件を特定する制御比較；(iv) 評価コード、トークナイザパイプライン、モデルのオープンソース公開。この種の研究としては初めてとなる本「サブワードマニフェスト」は、MRLにおいて効果的なトークナイザを構築するための実践的な指針を提供し、将来の研究のための再現可能な基盤を確立するものである。

English

Tokenization is a pivotal design choice for neural language modeling in morphologically rich languages (MRLs) such as Turkish, where productive agglutination challenges both vocabulary efficiency and morphological fidelity. Prior studies have explored tokenizer families and vocabulary sizes but typically (i) vary vocabulary without systematically controlling the tokenizer's training corpus, (ii) provide limited intrinsic diagnostics, and (iii) evaluate a narrow slice of downstream tasks. We present the first comprehensive, principled study of Turkish subword tokenization; a "subwords manifest", that jointly varies vocabulary size and tokenizer training corpus size (data and vocabulary coupling), compares multiple tokenizer families under matched parameter budgets (WordPiece, morphology level, and character baselines), and evaluates across semantic (NLI, STS, sentiment analysis, NER), syntactic (POS, dependency parsing), and morphology-sensitive probes. To explain why tokenizers succeed or fail, we introduce a morphology-aware diagnostic toolkit that goes beyond coarse aggregates to boundary-level micro/macro F1, decoupled lemma atomicity vs. surface boundary hits, over/under-segmentation indices, character/word edit distances (CER/WER), continuation rates, and affix-type coverage and token-level atomicity. Our contributions are fourfold: (i) a systematic investigation of the vocabulary-corpus-success triad; (ii) a unified, morphology-aware evaluation framework linking intrinsic diagnostics to extrinsic outcomes; (iii) controlled comparisons identifying when character-level and morphology-level tokenization pay off; and (iv) an open-source release of evaluation code, tokenizer pipelines, and models. As the first work of its kind, this "subwords manifest" delivers actionable guidance for building effective tokenizers in MRLs and establishes a reproducible foundation for future research.