XTREME-UP: Um Benchmark Centrado no Usuário para Dados Escassos em Idiomas Subrepresentados

XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages

May 19, 2023

Autores: Sebastian Ruder, Jonathan H. Clark, Alexander Gutkin, Mihir Kale, Min Ma, Massimo Nicosia, Shruti Rijhwani, Parker Riley, Jean-Michel A. Sarr, Xinyi Wang, John Wieting, Nitish Gupta, Anna Katanova, Christo Kirov, Dana L. Dickinson, Brian Roark, Bidisha Samanta, Connie Tao, David I. Adelani, Vera Axelrod, Isaac Caswell, Colin Cherry, Dan Garrette, Reeve Ingle, Melvin Johnson, Dmitry Panteleev, Partha Talukdar

cs.AI

Resumo

A escassez de dados é um problema crucial para o desenvolvimento de sistemas de PLN altamente multilíngues. No entanto, para muitas línguas sub-representadas (ULs) -- idiomas para os quais a pesquisa em PLN está particularmente atrasada em atender às necessidades dos usuários -- é viável anotar pequenas quantidades de dados. Motivados por isso, propomos o XTREME-UP, um benchmark definido por: seu foco no cenário de dados escassos em vez de zero-shot; seu foco em tarefas centradas no usuário -- tarefas com ampla adoção por falantes de línguas de alta disponibilidade de recursos; e seu foco em línguas sub-representadas, onde esse cenário de dados escassos tende a ser mais realista. O XTREME-UP avalia as capacidades de modelos de linguagem em 88 línguas sub-representadas em 9 tecnologias centradas no usuário, incluindo ASR, OCR, MT e tarefas de acesso à informação que são de utilidade geral. Criamos novos conjuntos de dados para OCR, autocompletar, análise semântica e transliteração, e aprimoramos conjuntos de dados existentes para outras tarefas. O XTREME-UP fornece metodologia para avaliar diversos cenários de modelagem, incluindo apenas texto, multimodal (visão, áudio e texto), ajuste de parâmetros supervisionado e aprendizado em contexto. Avaliamos modelos comumente usados no benchmark. Disponibilizamos todo o código e scripts para treinar e avaliar modelos.

English

Data scarcity is a crucial issue for the development of highly multilingual NLP systems. Yet for many under-represented languages (ULs) -- languages for which NLP re-search is particularly far behind in meeting user needs -- it is feasible to annotate small amounts of data. Motivated by this, we propose XTREME-UP, a benchmark defined by: its focus on the scarce-data scenario rather than zero-shot; its focus on user-centric tasks -- tasks with broad adoption by speakers of high-resource languages; and its focus on under-represented languages where this scarce-data scenario tends to be most realistic. XTREME-UP evaluates the capabilities of language models across 88 under-represented languages over 9 key user-centric technologies including ASR, OCR, MT, and information access tasks that are of general utility. We create new datasets for OCR, autocomplete, semantic parsing, and transliteration, and build on and refine existing datasets for other tasks. XTREME-UP provides methodology for evaluating many modeling scenarios including text-only, multi-modal (vision, audio, and text),supervised parameter tuning, and in-context learning. We evaluate commonly used models on the benchmark. We release all code and scripts to train and evaluate models