Dalle linee guida alla pratica: un nuovo paradigma per la valutazione dei modelli linguistici arabi

From Guidelines to Practice: A New Paradigm for Arabic Language Model Evaluation

June 2, 2025

Autori: Serry Sibaee, Omer Nacar, Adel Ammar, Yasser Al-Habashi, Abdulrahman Al-Batati, Wadii Boulila

cs.AI

Abstract

Questo articolo affronta le lacune critiche nella valutazione dei modelli linguistici per l'arabo, stabilendo linee guida teoriche complete e introducendo un nuovo framework di valutazione. Inizialmente, analizziamo i dataset di valutazione esistenti per l'arabo, identificando problemi significativi in termini di accuratezza linguistica, allineamento culturale e rigore metodologico. Per superare queste limitazioni nei LLM, presentiamo l'Arabic Depth Mini Dataset (ADMD), una raccolta accuratamente curata di 490 domande complesse che coprono dieci domini principali (42 sottodomini, vedi Figura 1). Utilizzando ADMD, valutiamo cinque modelli linguistici leader: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B e Qwen-Max. I nostri risultati rivelano variazioni significative nelle prestazioni dei modelli tra i diversi domini, con particolari difficoltà nelle aree che richiedono una profonda comprensione culturale e conoscenze specializzate. Claude 3.5 Sonnet ha dimostrato la più alta accuratezza complessiva al 30\%, mostrando una relativa forza nella teoria matematica in arabo, nella lingua araba e nei domini islamici. Questo lavoro fornisce sia basi teoriche che intuizioni pratiche per migliorare la valutazione dei modelli linguistici per l'arabo, sottolineando l'importanza della competenza culturale accanto alle capacità tecniche.

English

This paper addresses critical gaps in Arabic language model evaluation by establishing comprehensive theoretical guidelines and introducing a novel evaluation framework. We first analyze existing Arabic evaluation datasets, identifying significant issues in linguistic accuracy, cultural alignment, and methodological rigor. To address these limitations in LLMs, we present the Arabic Depth Mini Dataset (ADMD), a carefully curated collection of 490 challenging questions spanning ten major domains (42 sub-domains, see Figure 1. Using ADMD, we evaluate five leading language models: GPT-4, Claude 3.5 Sonnet, Gemini Flash 1.5, CommandR 100B, and Qwen-Max. Our results reveal significant variations in model performance across different domains, with particular challenges in areas requiring deep cultural understanding and specialized knowledge. Claude 3.5 Sonnet demonstrated the highest overall accuracy at 30\%, showing relative strength in mathematical theory in Arabic, Arabic language, and islamic domains. This work provides both theoretical foundations and practical insights for improving Arabic language model evaluation, emphasizing the importance of cultural competence alongside technical capabilities.