Avaliando o Desempenho do Tokenizador de Modelos de Linguagem Grandes em Diversos Idiomas Oficiais da Índia

Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages

November 19, 2024

Autores: S. Tamang, D. J. Bora

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs) baseados em arquiteturas de transformadores revolucionaram uma variedade de domínios, com a tokenização desempenhando um papel fundamental em suas etapas de pré-processamento e ajuste fino. Em modelos multilíngues, especialmente aqueles adaptados para línguas indígenas, a tokenização eficaz é crucial para otimizar o desempenho. Este artigo apresenta uma avaliação abrangente dos tokenizadores usados por 12 LLMs em todas as 22 línguas oficiais da Índia, com foco na comparação da eficiência de seus processos de tokenização. Empregamos o Comprimento Normalizado da Sequência (NSL) como uma métrica chave em nossa análise. Nossas descobertas revelam que o tokenizador SUTRA supera todos os outros modelos, incluindo vários modelos específicos para línguas indígenas, destacando-se em 14 idiomas. Insights notáveis incluem o manuseio superior de línguas indígenas pelo tokenizador SUTRA, o avanço do GPT-4o sobre seu antecessor GPT-4 no processamento de línguas indianas e o desempenho limitado do Projeto Indus em certos idiomas. Este estudo destaca a importância crítica do desenvolvimento de estratégias de tokenização direcionadas para modelos multilíngues e indígenas, lançando as bases para futuras melhorias no design de tokenizadores para aprimorar a cobertura linguística e a eficiência do modelo.

English

Large Language Models (LLMs) based on transformer architectures have revolutionized a variety of domains, with tokenization playing a pivotal role in their pre-processing and fine-tuning stages. In multilingual models, particularly those tailored for Indic languages, effective tokenization is crucial for optimizing performance. This paper presents a comprehensive evaluation of tokenizers used by 12 LLMs across all 22 official languages of India, with a focus on comparing the efficiency of their tokenization processes. We employed the Normalized Sequence Length (NSL) as a key metric in our analysis. Our findings reveal that the SUTRA tokenizer outperforms all other models, including several Indic-specific models, excelling in 14 languages. Notable insights include the SUTRA tokenizer's superior handling of Indic languages, GPT-4o's advancement over its predecessor GPT-4 in processing Indian languages, and the limited performance of Project Indus in certain languages. This study underscores the critical importance of developing targeted tokenization strategies for multilingual and Indic-centric models, laying the groundwork for future improvements in tokenizer design to enhance linguistic coverage and model efficiency.