Das Diretrizes à Prática: Um Novo Paradigma para a Avaliação de Modelos de Linguagem Árabe

From Guidelines to Practice: A New Paradigm for Arabic Language Model Evaluation

June 2, 2025

Autores: Serry Sibaee, Omer Nacar, Adel Ammar, Yasser Al-Habashi, Abdulrahman Al-Batati, Wadii Boulila

cs.AI

Resumo

Este artigo aborda lacunas críticas na avaliação de modelos de linguagem para o árabe, estabelecendo diretrizes teóricas abrangentes e introduzindo um novo framework de avaliação. Primeiramente, analisamos conjuntos de dados de avaliação existentes para o árabe, identificando problemas significativos em precisão linguística, alinhamento cultural e rigor metodológico. Para superar essas limitações em LLMs, apresentamos o Arabic Depth Mini Dataset (ADMD), uma coleção cuidadosamente curada de 490 perguntas desafiadoras abrangendo dez domínios principais (42 subdomínios, ver Figura 1). Utilizando o ADMD, avaliamos cinco modelos de linguagem líderes: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B e Qwen-Max. Nossos resultados revelam variações significativas no desempenho dos modelos em diferentes domínios, com desafios particulares em áreas que exigem profundo entendimento cultural e conhecimento especializado. O Claude 3.5 Sonnet demonstrou a maior precisão geral, com 30%, mostrando força relativa em teoria matemática em árabe, língua árabe e domínios islâmicos. Este trabalho fornece tanto fundamentos teóricos quanto insights práticos para melhorar a avaliação de modelos de linguagem para o árabe, enfatizando a importância da competência cultural aliada às capacidades técnicas.

English

This paper addresses critical gaps in Arabic language model evaluation by establishing comprehensive theoretical guidelines and introducing a novel evaluation framework. We first analyze existing Arabic evaluation datasets, identifying significant issues in linguistic accuracy, cultural alignment, and methodological rigor. To address these limitations in LLMs, we present the Arabic Depth Mini Dataset (ADMD), a carefully curated collection of 490 challenging questions spanning ten major domains (42 sub-domains, see Figure 1. Using ADMD, we evaluate five leading language models: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B, and Qwen-Max. Our results reveal significant variations in model performance across different domains, with particular challenges in areas requiring deep cultural understanding and specialized knowledge. Claude 3.5 Sonnet demonstrated the highest overall accuracy at 30\%, showing relative strength in mathematical theory in Arabic, Arabic language, and islamic domains. This work provides both theoretical foundations and practical insights for improving Arabic language model evaluation, emphasizing the importance of cultural competence alongside technical capabilities.