XTREME-UP: Un punto de referencia centrado en el usuario para datos escasos en lenguajes subrepresentados
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages
May 19, 2023
Autores: Sebastian Ruder, Jonathan H. Clark, Alexander Gutkin, Mihir Kale, Min Ma, Massimo Nicosia, Shruti Rijhwani, Parker Riley, Jean-Michel A. Sarr, Xinyi Wang, John Wieting, Nitish Gupta, Anna Katanova, Christo Kirov, Dana L. Dickinson, Brian Roark, Bidisha Samanta, Connie Tao, David I. Adelani, Vera Axelrod, Isaac Caswell, Colin Cherry, Dan Garrette, Reeve Ingle, Melvin Johnson, Dmitry Panteleev, Partha Talukdar
cs.AI
Resumen
La escasez de datos es un problema crucial para el desarrollo de sistemas de PLN altamente multilingües. Sin embargo, para muchos idiomas subrepresentados (ULs, por sus siglas en inglés) —lenguas para las cuales la investigación en PLN está particularmente rezagada en satisfacer las necesidades de los usuarios— es factible anotar pequeñas cantidades de datos. Motivados por esto, proponemos XTREME-UP, un punto de referencia definido por: su enfoque en el escenario de datos escasos en lugar de cero-shot; su atención en tareas centradas en el usuario —tareas ampliamente adoptadas por hablantes de idiomas con muchos recursos—; y su énfasis en idiomas subrepresentados donde este escenario de datos escasos tiende a ser más realista. XTREME-UP evalúa las capacidades de los modelos de lenguaje en 88 idiomas subrepresentados a través de 9 tecnologías clave centradas en el usuario, incluyendo ASR, OCR, MT y tareas de acceso a la información que son de utilidad general. Creamos nuevos conjuntos de datos para OCR, autocompletado, análisis semántico y transliteración, y nos basamos y refinamos conjuntos de datos existentes para otras tareas. XTREME-UP proporciona metodología para evaluar muchos escenarios de modelado, incluyendo solo texto, multimodal (visión, audio y texto), ajuste supervisado de parámetros y aprendizaje en contexto. Evaluamos modelos comúnmente utilizados en el punto de referencia. Publicamos todo el código y scripts para entrenar y evaluar modelos.
English
Data scarcity is a crucial issue for the development of highly multilingual
NLP systems. Yet for many under-represented languages (ULs) -- languages for
which NLP re-search is particularly far behind in meeting user needs -- it is
feasible to annotate small amounts of data. Motivated by this, we propose
XTREME-UP, a benchmark defined by: its focus on the scarce-data scenario rather
than zero-shot; its focus on user-centric tasks -- tasks with broad adoption by
speakers of high-resource languages; and its focus on under-represented
languages where this scarce-data scenario tends to be most realistic. XTREME-UP
evaluates the capabilities of language models across 88 under-represented
languages over 9 key user-centric technologies including ASR, OCR, MT, and
information access tasks that are of general utility. We create new datasets
for OCR, autocomplete, semantic parsing, and transliteration, and build on and
refine existing datasets for other tasks. XTREME-UP provides methodology for
evaluating many modeling scenarios including text-only, multi-modal (vision,
audio, and text),supervised parameter tuning, and in-context learning. We
evaluate commonly used models on the benchmark. We release all code and scripts
to train and evaluate models