IndicMMLU-Pro: Valutazione delle prestazioni dei grandi modelli linguistici indicativi nella comprensione del linguaggio multi-task

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding

January 27, 2025

Autori: Sankalp KJ, Ashutosh Kumar, Laxmaan Balaji, Nikunj Kotecha, Vinija Jain, Aman Chadha, Sreyoshi Bhaduri

cs.AI

Abstract

Conosciute da oltre 1,5 miliardi di persone nel subcontinente indiano, le lingue indiane presentano sfide e opportunità uniche per la ricerca sul trattamento automatico del linguaggio naturale (NLP) a causa della loro ricca eredità culturale, diversità linguistica e strutture complesse. IndicMMLU-Pro è un benchmark completo progettato per valutare i Grandi Modelli Linguistici (LLM) attraverso le lingue indiane, basandosi sul framework MMLU Pro (Massive Multitask Language Understanding). Coprendo lingue principali come l'Hindi, il Bengalese, il Gujarati, il Marathi, il Kannada, il Punjabi, il Tamil, il Telugu e l'Urdu, il nostro benchmark affronta le sfide e opportunità uniche presentate dalla diversità linguistica del subcontinente indiano. Questo benchmark comprende una vasta gamma di compiti nella comprensione del linguaggio, nel ragionamento e nella generazione, accuratamente progettati per catturare le complessità delle lingue indiane. IndicMMLU-Pro fornisce un framework di valutazione standardizzato per spingere i confini della ricerca nell'IA delle lingue indiane, facilitando lo sviluppo di modelli più accurati, efficienti e culturalmente sensibili. Questo articolo delinea i principi di progettazione dei benchmark, la tassonomia dei compiti e la metodologia di raccolta dati, e presenta i risultati di base dei modelli multilingue all'avanguardia.

English

Known by more than 1.5 billion people in the Indian subcontinent, Indic languages present unique challenges and opportunities for natural language processing (NLP) research due to their rich cultural heritage, linguistic diversity, and complex structures. IndicMMLU-Pro is a comprehensive benchmark designed to evaluate Large Language Models (LLMs) across Indic languages, building upon the MMLU Pro (Massive Multitask Language Understanding) framework. Covering major languages such as Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu, and Urdu, our benchmark addresses the unique challenges and opportunities presented by the linguistic diversity of the Indian subcontinent. This benchmark encompasses a wide range of tasks in language comprehension, reasoning, and generation, meticulously crafted to capture the intricacies of Indian languages. IndicMMLU-Pro provides a standardized evaluation framework to push the research boundaries in Indic language AI, facilitating the development of more accurate, efficient, and culturally sensitive models. This paper outlines the benchmarks' design principles, task taxonomy, and data collection methodology, and presents baseline results from state-of-the-art multilingual models.