Van richtlijnen naar praktijk: Een nieuw paradigma voor de evaluatie van Arabische taalmodellen

From Guidelines to Practice: A New Paradigm for Arabic Language Model Evaluation

June 2, 2025

Auteurs: Serry Sibaee, Omer Nacar, Adel Ammar, Yasser Al-Habashi, Abdulrahman Al-Batati, Wadii Boulila

cs.AI

Samenvatting

Dit artikel behandelt cruciale leemtes in de evaluatie van Arabische taalmodelen door uitgebreide theoretische richtlijnen vast te stellen en een nieuw evaluatiekader te introduceren. We analyseren eerst bestaande Arabische evaluatiedatasets en identificeren belangrijke problemen op het gebied van linguïstische nauwkeurigheid, culturele afstemming en methodologische strengheid. Om deze beperkingen in LLM's aan te pakken, presenteren we de Arabic Depth Mini Dataset (ADMD), een zorgvuldig samengestelde verzameling van 490 uitdagende vragen die tien grote domeinen beslaan (42 subdomeinen, zie Figuur 1). Met behulp van ADMD evalueren we vijf toonaangevende taalmodelen: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B en Qwen-Max. Onze resultaten laten significante variaties zien in de prestaties van de modellen over verschillende domeinen, met name uitdagingen in gebieden die diep cultureel begrip en gespecialiseerde kennis vereisen. Claude 3.5 Sonnet toonde de hoogste algehele nauwkeurigheid van 30%, met relatief sterke prestaties in wiskundige theorie in het Arabisch, de Arabische taal en islamitische domeinen. Dit werk biedt zowel theoretische fundamenten als praktische inzichten voor het verbeteren van de evaluatie van Arabische taalmodelen, waarbij het belang van culturele competentie naast technische capaciteiten wordt benadrukt.

English

This paper addresses critical gaps in Arabic language model evaluation by establishing comprehensive theoretical guidelines and introducing a novel evaluation framework. We first analyze existing Arabic evaluation datasets, identifying significant issues in linguistic accuracy, cultural alignment, and methodological rigor. To address these limitations in LLMs, we present the Arabic Depth Mini Dataset (ADMD), a carefully curated collection of 490 challenging questions spanning ten major domains (42 sub-domains, see Figure 1. Using ADMD, we evaluate five leading language models: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B, and Qwen-Max. Our results reveal significant variations in model performance across different domains, with particular challenges in areas requiring deep cultural understanding and specialized knowledge. Claude 3.5 Sonnet demonstrated the highest overall accuracy at 30\%, showing relative strength in mathematical theory in Arabic, Arabic language, and islamic domains. This work provides both theoretical foundations and practical insights for improving Arabic language model evaluation, emphasizing the importance of cultural competence alongside technical capabilities.