Von Leitlinien zur Praxis: Ein neues Paradigma für die Bewertung von Sprachmodellen für das Arabische

From Guidelines to Practice: A New Paradigm for Arabic Language Model Evaluation

June 2, 2025

Autoren: Serry Sibaee, Omer Nacar, Adel Ammar, Yasser Al-Habashi, Abdulrahman Al-Batati, Wadii Boulila

cs.AI

Zusammenfassung

Dieses Papier befasst sich mit kritischen Lücken in der Bewertung von Sprachmodellen für die arabische Sprache, indem es umfassende theoretische Richtlinien etabliert und einen neuartigen Bewertungsrahmen einführt. Zunächst analysieren wir bestehende Evaluationsdatensätze für Arabisch und identifizieren erhebliche Mängel in Bezug auf linguistische Genauigkeit, kulturelle Ausrichtung und methodische Strenge. Um diese Einschränkungen bei großen Sprachmodellen (LLMs) zu überwinden, präsentieren wir den Arabic Depth Mini Dataset (ADMD), eine sorgfältig kuratierte Sammlung von 490 anspruchsvollen Fragen, die zehn Hauptbereiche (42 Unterbereiche, siehe Abbildung 1) abdecken. Mit ADMD bewerten wir fünf führende Sprachmodelle: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B und Qwen-Max. Unsere Ergebnisse zeigen erhebliche Unterschiede in der Modellleistung über verschiedene Bereiche hinweg, mit besonderen Herausforderungen in Bereichen, die tiefes kulturelles Verständnis und spezialisiertes Wissen erfordern. Claude 3.5 Sonnet erzielte die höchste Gesamtgenauigkeit von 30 % und zeigte relative Stärken in den Bereichen mathematische Theorie in Arabisch, arabische Sprache und islamische Domänen. Diese Arbeit bietet sowohl theoretische Grundlagen als auch praktische Einblicke zur Verbesserung der Bewertung von Sprachmodellen für Arabisch und betont die Bedeutung von kultureller Kompetenz neben technischen Fähigkeiten.

English

This paper addresses critical gaps in Arabic language model evaluation by establishing comprehensive theoretical guidelines and introducing a novel evaluation framework. We first analyze existing Arabic evaluation datasets, identifying significant issues in linguistic accuracy, cultural alignment, and methodological rigor. To address these limitations in LLMs, we present the Arabic Depth Mini Dataset (ADMD), a carefully curated collection of 490 challenging questions spanning ten major domains (42 sub-domains, see Figure 1. Using ADMD, we evaluate five leading language models: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B, and Qwen-Max. Our results reveal significant variations in model performance across different domains, with particular challenges in areas requiring deep cultural understanding and specialized knowledge. Claude 3.5 Sonnet demonstrated the highest overall accuracy at 30\%, showing relative strength in mathematical theory in Arabic, Arabic language, and islamic domains. This work provides both theoretical foundations and practical insights for improving Arabic language model evaluation, emphasizing the importance of cultural competence alongside technical capabilities.