IndicMMLU-Pro: Evaluación de Modelos de Lenguaje Grandes Indicos en la Comprehensión de Lenguaje Multi-Tarea

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding

January 27, 2025

Autores: Sankalp KJ, Ashutosh Kumar, Laxmaan Balaji, Nikunj Kotecha, Vinija Jain, Aman Chadha, Sreyoshi Bhaduri

cs.AI

Resumen

Conocidos por más de 1.5 mil millones de personas en el subcontinente indio, los idiomas indios presentan desafíos y oportunidades únicas para la investigación en procesamiento de lenguaje natural (PLN) debido a su rica herencia cultural, diversidad lingüística y estructuras complejas. IndicMMLU-Pro es un benchmark integral diseñado para evaluar Modelos de Lenguaje Grande (LLMs) en los idiomas indios, construido sobre el marco MMLU Pro (Comprensión de Lenguaje Masivo Multitarea). Cubriendo idiomas principales como Hindi, Bengalí, Guyaratí, Maratí, Canarés, Panyabí, Tamil, Telugu y Urdu, nuestro benchmark aborda los desafíos y oportunidades únicas presentadas por la diversidad lingüística del subcontinente indio. Este benchmark abarca una amplia gama de tareas en comprensión del lenguaje, razonamiento y generación, meticulosamente diseñadas para capturar las complejidades de los idiomas indios. IndicMMLU-Pro proporciona un marco de evaluación estandarizado para impulsar los límites de la investigación en IA de idiomas indios, facilitando el desarrollo de modelos más precisos, eficientes y culturalmente sensibles. Este documento describe los principios de diseño de los benchmarks, la taxonomía de tareas y la metodología de recopilación de datos, y presenta resultados base de modelos multilingües de última generación.

English

Known by more than 1.5 billion people in the Indian subcontinent, Indic languages present unique challenges and opportunities for natural language processing (NLP) research due to their rich cultural heritage, linguistic diversity, and complex structures. IndicMMLU-Pro is a comprehensive benchmark designed to evaluate Large Language Models (LLMs) across Indic languages, building upon the MMLU Pro (Massive Multitask Language Understanding) framework. Covering major languages such as Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu, and Urdu, our benchmark addresses the unique challenges and opportunities presented by the linguistic diversity of the Indian subcontinent. This benchmark encompasses a wide range of tasks in language comprehension, reasoning, and generation, meticulously crafted to capture the intricacies of Indian languages. IndicMMLU-Pro provides a standardized evaluation framework to push the research boundaries in Indic language AI, facilitating the development of more accurate, efficient, and culturally sensitive models. This paper outlines the benchmarks' design principles, task taxonomy, and data collection methodology, and presents baseline results from state-of-the-art multilingual models.