XTREME-UP: Un Benchmark Centrato sull'Utente per Dati Scarsi nelle Lingue Sottorappresentate
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages
May 19, 2023
Autori: Sebastian Ruder, Jonathan H. Clark, Alexander Gutkin, Mihir Kale, Min Ma, Massimo Nicosia, Shruti Rijhwani, Parker Riley, Jean-Michel A. Sarr, Xinyi Wang, John Wieting, Nitish Gupta, Anna Katanova, Christo Kirov, Dana L. Dickinson, Brian Roark, Bidisha Samanta, Connie Tao, David I. Adelani, Vera Axelrod, Isaac Caswell, Colin Cherry, Dan Garrette, Reeve Ingle, Melvin Johnson, Dmitry Panteleev, Partha Talukdar
cs.AI
Abstract
La scarsità di dati rappresenta un problema cruciale per lo sviluppo di sistemi NLP altamente multilingue. Tuttavia, per molte lingue sottorappresentate (ULs) — lingue per le quali la ricerca NLP è particolarmente indietro nel soddisfare le esigenze degli utenti — è fattibile annotare piccole quantità di dati. Motivati da ciò, proponiamo XTREME-UP, un benchmark definito da: il suo focus sullo scenario di dati scarsi piuttosto che sullo zero-shot; il suo focus su task centrati sull'utente — task ampiamente adottati dai parlanti di lingue ad alta risorsa; e il suo focus sulle lingue sottorappresentate, dove questo scenario di dati scarsi tende a essere più realistico. XTREME-UP valuta le capacità dei modelli linguistici su 88 lingue sottorappresentate attraverso 9 tecnologie chiave centrate sull'utente, tra cui ASR, OCR, MT e task di accesso alle informazioni di utilità generale. Creiamo nuovi dataset per OCR, completamento automatico, parsing semantico e traslitterazione, e ci basiamo e perfezioniamo dataset esistenti per altri task. XTREME-UP fornisce una metodologia per valutare molti scenari di modellazione, tra cui testo-only, multi-modale (visione, audio e testo), ottimizzazione supervisionata dei parametri e apprendimento in-context. Valutiamo modelli comunemente utilizzati sul benchmark. Rilasciamo tutto il codice e gli script per addestrare e valutare i modelli.
English
Data scarcity is a crucial issue for the development of highly multilingual
NLP systems. Yet for many under-represented languages (ULs) -- languages for
which NLP re-search is particularly far behind in meeting user needs -- it is
feasible to annotate small amounts of data. Motivated by this, we propose
XTREME-UP, a benchmark defined by: its focus on the scarce-data scenario rather
than zero-shot; its focus on user-centric tasks -- tasks with broad adoption by
speakers of high-resource languages; and its focus on under-represented
languages where this scarce-data scenario tends to be most realistic. XTREME-UP
evaluates the capabilities of language models across 88 under-represented
languages over 9 key user-centric technologies including ASR, OCR, MT, and
information access tasks that are of general utility. We create new datasets
for OCR, autocomplete, semantic parsing, and transliteration, and build on and
refine existing datasets for other tasks. XTREME-UP provides methodology for
evaluating many modeling scenarios including text-only, multi-modal (vision,
audio, and text),supervised parameter tuning, and in-context learning. We
evaluate commonly used models on the benchmark. We release all code and scripts
to train and evaluate models