IndicMMLU-Pro: Оценка индийских крупных языковых моделей на многофункциональном понимании языка.

IndicMMLU-Pro: Benchmarking Indic Large Language Models on Multi-Task Language Understanding

January 27, 2025

Авторы: Sankalp KJ, Ashutosh Kumar, Laxmaan Balaji, Nikunj Kotecha, Vinija Jain, Aman Chadha, Sreyoshi Bhaduri

cs.AI

Аннотация

Известные более чем 1,5 миллиарда людей на Индийском субконтиненте, индийские языки представляют уникальные вызовы и возможности для исследований по обработке естественного языка (NLP) из-за их богатого культурного наследия, лингвистического разнообразия и сложных структур. IndicMMLU-Pro - это комплексный бенчмарк, разработанный для оценки больших языковых моделей (LLM) на индийских языках, основанный на фреймворке MMLU Pro (Massive Multitask Language Understanding). Охватывая основные языки, такие как хинди, бенгальский, гуджарати, маратхи, каннада, панджаби, тамильский, телугу и урду, наш бенчмарк решает уникальные вызовы и возможности, представленные лингвистическим разнообразием Индийского субконтинента. Этот бенчмарк охватывает широкий спектр задач по пониманию языка, рассуждениям и генерации, тщательно разработанных для улавливания тонкостей индийских языков. IndicMMLU-Pro предоставляет стандартизированный каркас оценки для расширения границ исследований в области искусственного интеллекта на индийских языках, способствуя разработке более точных, эффективных и культурно чувствительных моделей. В данной статье излагаются принципы проектирования бенчмарков, таксономия задач и методология сбора данных, а также представляются базовые результаты от современных мультиязычных моделей.

English

Known by more than 1.5 billion people in the Indian subcontinent, Indic languages present unique challenges and opportunities for natural language processing (NLP) research due to their rich cultural heritage, linguistic diversity, and complex structures. IndicMMLU-Pro is a comprehensive benchmark designed to evaluate Large Language Models (LLMs) across Indic languages, building upon the MMLU Pro (Massive Multitask Language Understanding) framework. Covering major languages such as Hindi, Bengali, Gujarati, Marathi, Kannada, Punjabi, Tamil, Telugu, and Urdu, our benchmark addresses the unique challenges and opportunities presented by the linguistic diversity of the Indian subcontinent. This benchmark encompasses a wide range of tasks in language comprehension, reasoning, and generation, meticulously crafted to capture the intricacies of Indian languages. IndicMMLU-Pro provides a standardized evaluation framework to push the research boundaries in Indic language AI, facilitating the development of more accurate, efficient, and culturally sensitive models. This paper outlines the benchmarks' design principles, task taxonomy, and data collection methodology, and presents baseline results from state-of-the-art multilingual models.