XTREME-UP: Eine nutzerzentrierte Benchmark für knappe Daten in unterrepräsentierten Sprachen
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages
May 19, 2023
Autoren: Sebastian Ruder, Jonathan H. Clark, Alexander Gutkin, Mihir Kale, Min Ma, Massimo Nicosia, Shruti Rijhwani, Parker Riley, Jean-Michel A. Sarr, Xinyi Wang, John Wieting, Nitish Gupta, Anna Katanova, Christo Kirov, Dana L. Dickinson, Brian Roark, Bidisha Samanta, Connie Tao, David I. Adelani, Vera Axelrod, Isaac Caswell, Colin Cherry, Dan Garrette, Reeve Ingle, Melvin Johnson, Dmitry Panteleev, Partha Talukdar
cs.AI
Zusammenfassung
Datenknappheit ist ein entscheidendes Problem für die Entwicklung hochgradig mehrsprachiger NLP-Systeme. Dennoch ist es für viele unterrepräsentierte Sprachen (ULs) – Sprachen, bei denen die NLP-Forschung besonders weit hinter den Bedürfnissen der Nutzer zurückbleibt – machbar, kleine Datenmengen zu annotieren. Ausgehend von dieser Motivation schlagen wir XTREME-UP vor, einen Benchmark, der sich durch folgende Merkmale auszeichnet: seinen Fokus auf das Szenario mit knappen Daten anstelle von Zero-Shot; seinen Fokus auf nutzerzentrierte Aufgaben – Aufgaben, die bei Sprechern von ressourcenstarken Sprachen weit verbreitet sind; und seinen Fokus auf unterrepräsentierte Sprachen, bei denen dieses Szenario mit knappen Daten tendenziell am realistischsten ist. XTREME-UP bewertet die Fähigkeiten von Sprachmodellen über 88 unterrepräsentierte Sprachen hinweg in 9 zentralen nutzerzentrierten Technologien, darunter ASR, OCR, MT und Informationszugriffsaufgaben, die von allgemeinem Nutzen sind. Wir erstellen neue Datensätze für OCR, Autovervollständigung, semantische Analyse und Transliteration und bauen auf bestehende Datensätze für andere Aufgaben auf und verfeinern diese. XTREME-UP bietet Methoden zur Bewertung vieler Modellierungsszenarien, darunter textbasierte, multimodale (Vision, Audio und Text), überwachte Parameteroptimierung und In-Context-Learning. Wir bewerten gängige Modelle anhand des Benchmarks. Wir veröffentlichen den gesamten Code und die Skripte zum Trainieren und Bewerten von Modellen.
English
Data scarcity is a crucial issue for the development of highly multilingual
NLP systems. Yet for many under-represented languages (ULs) -- languages for
which NLP re-search is particularly far behind in meeting user needs -- it is
feasible to annotate small amounts of data. Motivated by this, we propose
XTREME-UP, a benchmark defined by: its focus on the scarce-data scenario rather
than zero-shot; its focus on user-centric tasks -- tasks with broad adoption by
speakers of high-resource languages; and its focus on under-represented
languages where this scarce-data scenario tends to be most realistic. XTREME-UP
evaluates the capabilities of language models across 88 under-represented
languages over 9 key user-centric technologies including ASR, OCR, MT, and
information access tasks that are of general utility. We create new datasets
for OCR, autocomplete, semantic parsing, and transliteration, and build on and
refine existing datasets for other tasks. XTREME-UP provides methodology for
evaluating many modeling scenarios including text-only, multi-modal (vision,
audio, and text),supervised parameter tuning, and in-context learning. We
evaluate commonly used models on the benchmark. We release all code and scripts
to train and evaluate models