El Benchmark Belebele: un conjunto de datos paralelo de comprensión lectora en 122 variantes lingüísticas

The Belebele Benchmark: a Parallel Reading Comprehension Dataset in 122 Language Variants

August 31, 2023

Autores: Lucas Bandarkar, Davis Liang, Benjamin Muller, Mikel Artetxe, Satya Narayan Shukla, Donald Husa, Naman Goyal, Abhinandan Krishnan, Luke Zettlemoyer, Madian Khabsa

cs.AI

Resumen

Presentamos Belebele, un conjunto de datos de comprensión lectora automatizada (MRC, por sus siglas en inglés) de opción múltiple que abarca 122 variantes lingüísticas. Al expandir significativamente la cobertura lingüística de los puntos de referencia para la comprensión del lenguaje natural (NLU, por sus siglas en inglés), este conjunto de datos permite evaluar modelos de texto en idiomas de recursos altos, medios y bajos. Cada pregunta se basa en un pasaje corto del conjunto de datos Flores-200 y cuenta con cuatro opciones de respuesta. Las preguntas fueron cuidadosamente seleccionadas para discriminar entre modelos con diferentes niveles de comprensión general del lenguaje. El conjunto de datos en inglés por sí solo resulta lo suficientemente desafiante para poner a prueba los modelos de lenguaje más avanzados. Al ser completamente paralelo, este conjunto de datos permite la comparación directa del rendimiento de los modelos en todos los idiomas. Utilizamos este conjunto de datos para evaluar las capacidades de los modelos de lenguaje enmascarados multilingües (MLMs, por sus siglas en inglés) y los modelos de lenguaje grandes (LLMs, por sus siglas en inglés). Presentamos resultados extensos y encontramos que, a pesar de la transferencia lingüística cruzada significativa en los LLMs centrados en inglés, los MLMs mucho más pequeños preentrenados con datos multilingües equilibrados aún comprenden muchos más idiomas. También observamos que un tamaño de vocabulario más grande y una construcción consciente del vocabulario se correlacionan con un mejor rendimiento en idiomas de bajos recursos. En general, Belebele abre nuevas vías para evaluar y analizar las capacidades multilingües de los sistemas de procesamiento del lenguaje natural (NLP, por sus siglas en inglés).

English

We present Belebele, a multiple-choice machine reading comprehension (MRC) dataset spanning 122 language variants. Significantly expanding the language coverage of natural language understanding (NLU) benchmarks, this dataset enables the evaluation of text models in high-, medium-, and low-resource languages. Each question is based on a short passage from the Flores-200 dataset and has four multiple-choice answers. The questions were carefully curated to discriminate between models with different levels of general language comprehension. The English dataset on its own proves difficult enough to challenge state-of-the-art language models. Being fully parallel, this dataset enables direct comparison of model performance across all languages. We use this dataset to evaluate the capabilities of multilingual masked language models (MLMs) and large language models (LLMs). We present extensive results and find that despite significant cross-lingual transfer in English-centric LLMs, much smaller MLMs pretrained on balanced multilingual data still understand far more languages. We also observe that larger vocabulary size and conscious vocabulary construction correlate with better performance on low-resource languages. Overall, Belebele opens up new avenues for evaluating and analyzing the multilingual capabilities of NLP systems.