XTREME-UP: Een Gebruikersgerichte Benchmark voor Schaarse Data in Ondervertegenwoordigde Talen
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages
May 19, 2023
Auteurs: Sebastian Ruder, Jonathan H. Clark, Alexander Gutkin, Mihir Kale, Min Ma, Massimo Nicosia, Shruti Rijhwani, Parker Riley, Jean-Michel A. Sarr, Xinyi Wang, John Wieting, Nitish Gupta, Anna Katanova, Christo Kirov, Dana L. Dickinson, Brian Roark, Bidisha Samanta, Connie Tao, David I. Adelani, Vera Axelrod, Isaac Caswell, Colin Cherry, Dan Garrette, Reeve Ingle, Melvin Johnson, Dmitry Panteleev, Partha Talukdar
cs.AI
Samenvatting
Dataschaarste is een cruciaal probleem voor de ontwikkeling van zeer meertalige NLP-systemen. Toch is het voor veel ondervertegenwoordigde talen (ULs) – talen waarvoor NLP-onderzoek het bijzonder moeilijk heeft om aan de gebruikersbehoeften te voldoen – haalbaar om kleine hoeveelheden data te annoteren. Gemotiveerd door dit gegeven stellen we XTREME-UP voor, een benchmark die wordt gedefinieerd door: de focus op het scenario van schaarse data in plaats van zero-shot; de focus op gebruikersgerichte taken – taken die breed worden geadopteerd door sprekers van talen met veel bronnen; en de focus op ondervertegenwoordigde talen waar dit scenario van schaarse data het meest realistisch is. XTREME-UP evalueert de mogelijkheden van taalmodellen over 88 ondervertegenwoordigde talen voor 9 belangrijke gebruikersgerichte technologieën, waaronder ASR, OCR, MT en informatie-toegangstaken die algemeen nuttig zijn. We creëren nieuwe datasets voor OCR, automatisch aanvullen, semantisch parsen en transliteratie, en bouwen voort op en verfijnen bestaande datasets voor andere taken. XTREME-UP biedt methodologie voor het evalueren van vele modelleerscenario's, waaronder tekst-only, multimodaal (visie, audio en tekst), supervised parameter tuning en in-context learning. We evalueren veelgebruikte modellen op de benchmark. We geven alle code en scripts vrij om modellen te trainen en te evalueren.
English
Data scarcity is a crucial issue for the development of highly multilingual
NLP systems. Yet for many under-represented languages (ULs) -- languages for
which NLP re-search is particularly far behind in meeting user needs -- it is
feasible to annotate small amounts of data. Motivated by this, we propose
XTREME-UP, a benchmark defined by: its focus on the scarce-data scenario rather
than zero-shot; its focus on user-centric tasks -- tasks with broad adoption by
speakers of high-resource languages; and its focus on under-represented
languages where this scarce-data scenario tends to be most realistic. XTREME-UP
evaluates the capabilities of language models across 88 under-represented
languages over 9 key user-centric technologies including ASR, OCR, MT, and
information access tasks that are of general utility. We create new datasets
for OCR, autocomplete, semantic parsing, and transliteration, and build on and
refine existing datasets for other tasks. XTREME-UP provides methodology for
evaluating many modeling scenarios including text-only, multi-modal (vision,
audio, and text),supervised parameter tuning, and in-context learning. We
evaluate commonly used models on the benchmark. We release all code and scripts
to train and evaluate models