XTREME-UP: 低リソース言語のためのユーザー中心型スパースデータベンチマーク
XTREME-UP: A User-Centric Scarce-Data Benchmark for Under-Represented Languages
May 19, 2023
著者: Sebastian Ruder, Jonathan H. Clark, Alexander Gutkin, Mihir Kale, Min Ma, Massimo Nicosia, Shruti Rijhwani, Parker Riley, Jean-Michel A. Sarr, Xinyi Wang, John Wieting, Nitish Gupta, Anna Katanova, Christo Kirov, Dana L. Dickinson, Brian Roark, Bidisha Samanta, Connie Tao, David I. Adelani, Vera Axelrod, Isaac Caswell, Colin Cherry, Dan Garrette, Reeve Ingle, Melvin Johnson, Dmitry Panteleev, Partha Talukdar
cs.AI
要旨
データの不足は、多言語NLPシステムの開発において重要な課題です。しかし、多くの低リソース言語（ULs）——NLP研究がユーザーのニーズを満たすことが特に遅れている言語——においては、少量のデータにアノテーションを付けることが可能です。これに動機づけられ、私たちはXTREME-UPを提案します。このベンチマークは、ゼロショットではなくデータ不足のシナリオに焦点を当て、高リソース言語の話者によって広く採用されているユーザー中心のタスクに焦点を当て、そしてこのデータ不足のシナリオが最も現実的である低リソース言語に焦点を当てています。XTREME-UPは、88の低リソース言語にわたる9つの主要なユーザー中心技術（ASR、OCR、MT、および一般的な有用性を持つ情報アクセスタスクを含む）における言語モデルの能力を評価します。私たちは、OCR、オートコンプリート、意味解析、および翻字のための新しいデータセットを作成し、他のタスクの既存のデータセットを基に改良を加えます。XTREME-UPは、テキストのみ、マルチモーダル（視覚、音声、テキスト）、教師ありパラメータチューニング、およびインコンテキスト学習を含む多くのモデリングシナリオを評価するための方法論を提供します。私たちは、このベンチマークで一般的に使用されるモデルを評価します。すべてのコードとモデルのトレーニングおよび評価のためのスクリプトを公開します。
English
Data scarcity is a crucial issue for the development of highly multilingual
NLP systems. Yet for many under-represented languages (ULs) -- languages for
which NLP re-search is particularly far behind in meeting user needs -- it is
feasible to annotate small amounts of data. Motivated by this, we propose
XTREME-UP, a benchmark defined by: its focus on the scarce-data scenario rather
than zero-shot; its focus on user-centric tasks -- tasks with broad adoption by
speakers of high-resource languages; and its focus on under-represented
languages where this scarce-data scenario tends to be most realistic. XTREME-UP
evaluates the capabilities of language models across 88 under-represented
languages over 9 key user-centric technologies including ASR, OCR, MT, and
information access tasks that are of general utility. We create new datasets
for OCR, autocomplete, semantic parsing, and transliteration, and build on and
refine existing datasets for other tasks. XTREME-UP provides methodology for
evaluating many modeling scenarios including text-only, multi-modal (vision,
audio, and text),supervised parameter tuning, and in-context learning. We
evaluate commonly used models on the benchmark. We release all code and scripts
to train and evaluate models