Estrategias Óptimas de Subpalabras en Turco a Gran Escala: Evaluación Sistemática de la Interacción entre Datos, Vocabulario y Morfología
Optimal Turkish Subword Strategies at Scale: Systematic Evaluation of Data, Vocabulary, Morphology Interplay
February 6, 2026
Autores: Duygu Altinok
cs.AI
Resumen
La tokenización es una elección de diseño crucial para el modelado neuronal del lenguaje en lenguas morfológicamente ricas (LMR) como el turco, donde la aglutinación productiva plantea desafíos tanto para la eficiencia del vocabulario como para la fidelidad morfológica. Estudios previos han explorado familias de tokenizadores y tamaños de vocabulario, pero típicamente (i) varían el vocabulario sin controlar sistemáticamente el corpus de entrenamiento del tokenizador, (ii) ofrecen diagnósticos intrínsecos limitados, y (iii) evalúan un espectro reducido de tareas posteriores. Presentamos el primer estudio integral y fundamentado sobre la tokenización por subpalabras en turco; un "manifiesto de las subpalabras", que varía conjuntamente el tamaño del vocabulario y el tamaño del corpus de entrenamiento del tokenizador (acoplamiento de datos y vocabulario), compara múltiples familias de tokenizadores bajo presupuestos de parámetros equiparados (WordPiece, nivel morfológico y líneas de base de caracteres), y evalúa mediante pruebas semánticas (NLI, STS, análisis de sentimiento, NER), sintácticas (POS, análisis de dependencias) y sensibles a la morfología. Para explicar por qué los tokenizadores tienen éxito o fracasan, introducimos un kit de herramientas de diagnóstico consciente de la morfología que va más allá de los agregados generales para incluir F1 micro/macro a nivel de límites, atomicidad de lema versus aciertos de límites superficiales desacoplados, índices de sobre/segmentación insuficiente, distancias de edición de caracteres/palabras (CER/WER), tasas de continuación, y cobertura de tipos de afijos y atomicidad a nivel de token. Nuestras contribuciones son cuádruples: (i) una investigación sistemática de la tríada vocabulario-corpus-éxito; (ii) un marco de evaluación unificado y consciente de la morfología que vincula diagnósticos intrínsecos con resultados extrínsecos; (iii) comparaciones controladas que identifican cuándo la tokenización a nivel de carácter y a nivel morfológico resulta beneficiosa; y (iv) una publicación de código abierto que incluye el código de evaluación, pipelines de tokenizadores y modelos. Como el primer trabajo de su tipo, este "manifiesto de las subpalabras" ofrece orientación práctica para construir tokenizadores efectivos en LMR y establece una base reproducible para futuras investigaciones.
English
Tokenization is a pivotal design choice for neural language modeling in morphologically rich languages (MRLs) such as Turkish, where productive agglutination challenges both vocabulary efficiency and morphological fidelity. Prior studies have explored tokenizer families and vocabulary sizes but typically (i) vary vocabulary without systematically controlling the tokenizer's training corpus, (ii) provide limited intrinsic diagnostics, and (iii) evaluate a narrow slice of downstream tasks. We present the first comprehensive, principled study of Turkish subword tokenization; a "subwords manifest", that jointly varies vocabulary size and tokenizer training corpus size (data and vocabulary coupling), compares multiple tokenizer families under matched parameter budgets (WordPiece, morphology level, and character baselines), and evaluates across semantic (NLI, STS, sentiment analysis, NER), syntactic (POS, dependency parsing), and morphology-sensitive probes. To explain why tokenizers succeed or fail, we introduce a morphology-aware diagnostic toolkit that goes beyond coarse aggregates to boundary-level micro/macro F1, decoupled lemma atomicity vs. surface boundary hits, over/under-segmentation indices, character/word edit distances (CER/WER), continuation rates, and affix-type coverage and token-level atomicity. Our contributions are fourfold: (i) a systematic investigation of the vocabulary-corpus-success triad; (ii) a unified, morphology-aware evaluation framework linking intrinsic diagnostics to extrinsic outcomes; (iii) controlled comparisons identifying when character-level and morphology-level tokenization pay off; and (iv) an open-source release of evaluation code, tokenizer pipelines, and models. As the first work of its kind, this "subwords manifest" delivers actionable guidance for building effective tokenizers in MRLs and establishes a reproducible foundation for future research.