IndicMMLU-Pro : Évaluation des grands modèles de langage indiens sur la compréhension de langues multi-tâches

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding

January 27, 2025

Auteurs: Sankalp KJ, Ashutosh Kumar, Laxmaan Balaji, Nikunj Kotecha, Vinija Jain, Aman Chadha, Sreyoshi Bhaduri

cs.AI

Résumé

Connues par plus de 1,5 milliard de personnes dans le sous-continent indien, les langues indiennes présentent des défis et des opportunités uniques pour la recherche en traitement automatique des langues (TAL) en raison de leur riche patrimoine culturel, de leur diversité linguistique et de leurs structures complexes. IndicMMLU-Pro est une référence complète conçue pour évaluer les Grands Modèles de Langage (GML) à travers les langues indiennes, s'appuyant sur le cadre MMLU Pro (Massive Multitask Language Understanding). Couvrant des langues majeures telles que l'hindi, le bengali, le gujarati, le marathi, le kannada, le pendjabi, le tamoul, le télougou et l'ourdou, notre référence aborde les défis et opportunités uniques présentés par la diversité linguistique du sous-continent indien. Cette référence englobe une large gamme de tâches de compréhension linguistique, de raisonnement et de génération, méticuleusement conçues pour capturer les subtilités des langues indiennes. IndicMMLU-Pro fournit un cadre d'évaluation standardisé pour repousser les limites de la recherche en intelligence artificielle pour les langues indiennes, facilitant le développement de modèles plus précis, efficaces et culturellement sensibles. Cet article décrit les principes de conception des références, la taxonomie des tâches et la méthodologie de collecte de données, et présente les résultats de base des modèles multilingues de pointe.

English

Known by more than 1.5 billion people in the Indian subcontinent, Indic languages present unique challenges and opportunities for natural language processing (NLP) research due to their rich cultural heritage, linguistic diversity, and complex structures. IndicMMLU-Pro is a comprehensive benchmark designed to evaluate Large Language Models (LLMs) across Indic languages, building upon the MMLU Pro (Massive Multitask Language Understanding) framework. Covering major languages such as Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu, and Urdu, our benchmark addresses the unique challenges and opportunities presented by the linguistic diversity of the Indian subcontinent. This benchmark encompasses a wide range of tasks in language comprehension, reasoning, and generation, meticulously crafted to capture the intricacies of Indian languages. IndicMMLU-Pro provides a standardized evaluation framework to push the research boundaries in Indic language AI, facilitating the development of more accurate, efficient, and culturally sensitive models. This paper outlines the benchmarks' design principles, task taxonomy, and data collection methodology, and presents baseline results from state-of-the-art multilingual models.