От рекомендаций к практике: новая парадигма оценки языковых моделей для арабского языка

From Guidelines to Practice: A New Paradigm for Arabic Language Model Evaluation

June 2, 2025

Авторы: Serry Sibaee, Omer Nacar, Adel Ammar, Yasser Al-Habashi, Abdulrahman Al-Batati, Wadii Boulila

cs.AI

Аннотация

Данная статья устраняет ключевые пробелы в оценке языковых моделей для арабского языка, предлагая всеобъемлющие теоретические рекомендации и представляя новую структуру оценки. Сначала мы анализируем существующие наборы данных для оценки арабского языка, выявляя значительные проблемы в лингвистической точности, культурной согласованности и методологической строгости. Для преодоления этих ограничений в крупных языковых моделях (LLM) мы представляем Arabic Depth Mini Dataset (ADMD) — тщательно отобранную коллекцию из 490 сложных вопросов, охватывающих десять основных областей (42 поддомена, см. Рисунок 1). Используя ADMD, мы оцениваем пять ведущих языковых моделей: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B и Qwen-Max. Наши результаты выявляют значительные различия в производительности моделей в различных областях, особенно в задачах, требующих глубокого культурного понимания и специализированных знаний. Claude 3.5 Sonnet продемонстрировал наивысшую общую точность — 30%, показав относительную силу в математической теории на арабском языке, арабской лингвистике и исламских темах. Эта работа предоставляет как теоретические основы, так и практические рекомендации для улучшения оценки языковых моделей арабского языка, подчеркивая важность культурной компетентности наряду с техническими возможностями.

English

This paper addresses critical gaps in Arabic language model evaluation by establishing comprehensive theoretical guidelines and introducing a novel evaluation framework. We first analyze existing Arabic evaluation datasets, identifying significant issues in linguistic accuracy, cultural alignment, and methodological rigor. To address these limitations in LLMs, we present the Arabic Depth Mini Dataset (ADMD), a carefully curated collection of 490 challenging questions spanning ten major domains (42 sub-domains, see Figure 1. Using ADMD, we evaluate five leading language models: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B, and Qwen-Max. Our results reveal significant variations in model performance across different domains, with particular challenges in areas requiring deep cultural understanding and specialized knowledge. Claude 3.5 Sonnet demonstrated the highest overall accuracy at 30\%, showing relative strength in mathematical theory in Arabic, Arabic language, and islamic domains. This work provides both theoretical foundations and practical insights for improving Arabic language model evaluation, emphasizing the importance of cultural competence alongside technical capabilities.