IndicMMLU-Pro: Avaliando Modelos de Linguagem Grandes Indicativos em Compreensão de Linguagem Multi-Tarefa

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding

January 27, 2025

Autores: Sankalp KJ, Ashutosh Kumar, Laxmaan Balaji, Nikunj Kotecha, Vinija Jain, Aman Chadha, Sreyoshi Bhaduri

cs.AI

Resumo

Conhecidas por mais de 1,5 bilhão de pessoas no subcontinente indiano, as línguas indígenas apresentam desafios e oportunidades únicas para a pesquisa em processamento de linguagem natural (PLN) devido ao seu rico patrimônio cultural, diversidade linguística e estruturas complexas. IndicMMLU-Pro é um benchmark abrangente projetado para avaliar Modelos de Linguagem Grandes (LLMs) em línguas indígenas, construído sobre o framework MMLU Pro (Compreensão de Linguagem Multitarefa Massiva). Abrangendo principais línguas como Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu e Urdu, nosso benchmark aborda os desafios e oportunidades únicas apresentadas pela diversidade linguística do subcontinente indiano. Este benchmark engloba uma ampla gama de tarefas em compreensão de linguagem, raciocínio e geração, meticulosamente elaboradas para capturar as complexidades das línguas indianas. IndicMMLU-Pro fornece um framework de avaliação padronizado para impulsionar os limites da pesquisa em IA de línguas indígenas, facilitando o desenvolvimento de modelos mais precisos, eficientes e culturalmente sensíveis. Este artigo descreve os princípios de design dos benchmarks, a taxonomia de tarefas e a metodologia de coleta de dados, e apresenta resultados basais de modelos multilíngues de ponta.

English

Known by more than 1.5 billion people in the Indian subcontinent, Indic languages present unique challenges and opportunities for natural language processing (NLP) research due to their rich cultural heritage, linguistic diversity, and complex structures. IndicMMLU-Pro is a comprehensive benchmark designed to evaluate Large Language Models (LLMs) across Indic languages, building upon the MMLU Pro (Massive Multitask Language Understanding) framework. Covering major languages such as Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu, and Urdu, our benchmark addresses the unique challenges and opportunities presented by the linguistic diversity of the Indian subcontinent. This benchmark encompasses a wide range of tasks in language comprehension, reasoning, and generation, meticulously crafted to capture the intricacies of Indian languages. IndicMMLU-Pro provides a standardized evaluation framework to push the research boundaries in Indic language AI, facilitating the development of more accurate, efficient, and culturally sensitive models. This paper outlines the benchmarks' design principles, task taxonomy, and data collection methodology, and presents baseline results from state-of-the-art multilingual models.