De las pautas a la práctica: Un nuevo paradigma para la evaluación de modelos de lenguaje en árabe

From Guidelines to Practice: A New Paradigm for Arabic Language Model Evaluation

June 2, 2025

Autores: Serry Sibaee, Omer Nacar, Adel Ammar, Yasser Al-Habashi, Abdulrahman Al-Batati, Wadii Boulila

cs.AI

Resumen

Este artículo aborda brechas críticas en la evaluación de modelos de lenguaje en árabe mediante el establecimiento de pautas teóricas integrales y la introducción de un marco de evaluación novedoso. Primero analizamos los conjuntos de datos de evaluación en árabe existentes, identificando problemas significativos en la precisión lingüística, la alineación cultural y el rigor metodológico. Para abordar estas limitaciones en los LLM, presentamos el Arabic Depth Mini Dataset (ADMD), una colección cuidadosamente curada de 490 preguntas desafiantes que abarcan diez dominios principales (42 subdominios, ver Figura 1). Utilizando ADMD, evaluamos cinco modelos de lenguaje líderes: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B y Qwen-Max. Nuestros resultados revelan variaciones significativas en el rendimiento de los modelos en diferentes dominios, con desafíos particulares en áreas que requieren un profundo entendimiento cultural y conocimiento especializado. Claude 3.5 Sonnet demostró la mayor precisión general con un 30\%, mostrando fortalezas relativas en teoría matemática en árabe, lengua árabe y dominios islámicos. Este trabajo proporciona fundamentos teóricos y perspectivas prácticas para mejorar la evaluación de modelos de lenguaje en árabe, enfatizando la importancia de la competencia cultural junto con las capacidades técnicas.

English

This paper addresses critical gaps in Arabic language model evaluation by establishing comprehensive theoretical guidelines and introducing a novel evaluation framework. We first analyze existing Arabic evaluation datasets, identifying significant issues in linguistic accuracy, cultural alignment, and methodological rigor. To address these limitations in LLMs, we present the Arabic Depth Mini Dataset (ADMD), a carefully curated collection of 490 challenging questions spanning ten major domains (42 sub-domains, see Figure 1. Using ADMD, we evaluate five leading language models: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B, and Qwen-Max. Our results reveal significant variations in model performance across different domains, with particular challenges in areas requiring deep cultural understanding and specialized knowledge. Claude 3.5 Sonnet demonstrated the highest overall accuracy at 30\%, showing relative strength in mathematical theory in Arabic, Arabic language, and islamic domains. This work provides both theoretical foundations and practical insights for improving Arabic language model evaluation, emphasizing the importance of cultural competence alongside technical capabilities.