GlotEval: Тестовый набор для масштабной мультиязычной оценки больших языковых моделей

GlotEval: A Test Suite for Massively Multilingual Evaluation of Large Language Models

April 5, 2025

Авторы: Hengyu Luo, Zihao Li, Joseph Attieh, Sawal Devkota, Ona de Gibert, Shaoxiong Ji, Peiqin Lin, Bhavani Sai Praneeth Varma Mantina, Ananda Sreenidhi, Raúl Vázquez, Mengjie Wang, Samea Yusofi, Jörg Tiedemann

cs.AI

Аннотация

Крупные языковые модели (LLM) развиваются беспрецедентными темпами по всему миру, при этом регионы всё чаще внедряют эти модели для приложений на своих основных языках. Оценка этих моделей в разнообразных языковых средах, особенно в условиях низкоресурсных языков, стала серьёзным вызовом для академического сообщества и индустрии. Существующие фреймворки оценки непропорционально сосредоточены на английском языке и нескольких высокоресурсных языках, тем самым игнорируя реальную производительность LLM в многоязычных и низкоресурсных сценариях. Для устранения этого пробела мы представляем GlotEval — лёгкий фреймворк, разработанный для массовой многоязычной оценки. Поддерживая семь ключевых задач (машинный перевод, классификация текста, суммаризация, генерация открытого текста, понимание прочитанного, последовательностная разметка и внутренняя оценка), охватывающих десятки и сотни языков, GlotEval акцентирует внимание на последовательном многоязычном бенчмаркинге, языково-специфичных шаблонах запросов и неанглоцентричном машинном переводе. Это позволяет точно диагностировать сильные и слабые стороны моделей в различных языковых контекстах. Пример исследования многоязычного перевода демонстрирует применимость GlotEval для многоязычных и языково-специфичных оценок.

English

Large language models (LLMs) are advancing at an unprecedented pace globally, with regions increasingly adopting these models for applications in their primary language. Evaluation of these models in diverse linguistic environments, especially in low-resource languages, has become a major challenge for academia and industry. Existing evaluation frameworks are disproportionately focused on English and a handful of high-resource languages, thereby overlooking the realistic performance of LLMs in multilingual and lower-resource scenarios. To address this gap, we introduce GlotEval, a lightweight framework designed for massively multilingual evaluation. Supporting seven key tasks (machine translation, text classification, summarization, open-ended generation, reading comprehension, sequence labeling, and intrinsic evaluation), spanning over dozens to hundreds of languages, GlotEval highlights consistent multilingual benchmarking, language-specific prompt templates, and non-English-centric machine translation. This enables a precise diagnosis of model strengths and weaknesses in diverse linguistic contexts. A multilingual translation case study demonstrates GlotEval's applicability for multilingual and language-specific evaluations.