GlotEval: Um Conjunto de Testes para Avaliação Massivamente Multilíngue de Modelos de Linguagem de Grande Escala

Resumo

Os grandes modelos de linguagem (LLMs) estão avançando em um ritmo sem precedentes globalmente, com regiões adotando cada vez mais esses modelos para aplicações em seus idiomas primários. A avaliação desses modelos em diversos ambientes linguísticos, especialmente em idiomas de baixo recurso, tornou-se um grande desafio para a academia e a indústria. Os frameworks de avaliação existentes estão desproporcionalmente focados no inglês e em um punhado de idiomas de alto recurso, negligenciando assim o desempenho realista dos LLMs em cenários multilíngues e de menor recurso. Para abordar essa lacuna, apresentamos o GlotEval, um framework leve projetado para avaliação massivamente multilíngue. Suportando sete tarefas principais (tradução automática, classificação de texto, sumarização, geração aberta, compreensão de leitura, rotulagem de sequência e avaliação intrínseca), abrangendo dezenas a centenas de idiomas, o GlotEval destaca o benchmarking multilíngue consistente, modelos de prompt específicos para cada idioma e tradução automática não centrada no inglês. Isso permite um diagnóstico preciso dos pontos fortes e fracos dos modelos em diversos contextos linguísticos. Um estudo de caso de tradução multilíngue demonstra a aplicabilidade do GlotEval para avaliações multilíngues e específicas por idioma.

English

Large language models (LLMs) are advancing at an unprecedented pace globally, with regions increasingly adopting these models for applications in their primary language. Evaluation of these models in diverse linguistic environments, especially in low-resource languages, has become a major challenge for academia and industry. Existing evaluation frameworks are disproportionately focused on English and a handful of high-resource languages, thereby overlooking the realistic performance of LLMs in multilingual and lower-resource scenarios. To address this gap, we introduce GlotEval, a lightweight framework designed for massively multilingual evaluation. Supporting seven key tasks (machine translation, text classification, summarization, open-ended generation, reading comprehension, sequence labeling, and intrinsic evaluation), spanning over dozens to hundreds of languages, GlotEval highlights consistent multilingual benchmarking, language-specific prompt templates, and non-English-centric machine translation. This enables a precise diagnosis of model strengths and weaknesses in diverse linguistic contexts. A multilingual translation case study demonstrates GlotEval's applicability for multilingual and language-specific evaluations.