LLMにおいて全ての言語が平等ではない：クロスリンガル思考プロンプティングによる多言語能力の向上
Not All Languages Are Created Equal in LLMs: Improving Multilingual Capability by Cross-Lingual-Thought Prompting
May 11, 2023
著者: Haoyang Huang, Tianyi Tang, Dongdong Zhang, Wayne Xin Zhao, Ting Song, Yan Xia, Furu Wei
cs.AI
要旨
大規模言語モデル（LLM）は印象的な多言語能力を示しますが、その性能は言語によって大きく異なります。本研究では、LLMの多言語能力を体系的に向上させるためのシンプルかつ効果的な手法、クロスリンガル思考プロンプティング（XLT）を提案します。具体的には、XLTは、クロスリンガルかつ論理的な推論能力を刺激し、言語を超えたタスク性能を向上させる汎用的なテンプレートプロンプトです。推論、理解、生成タスクに関連する7つの典型的なベンチマークにおいて、高リソース言語と低リソース言語の両方をカバーする包括的な評価を実施しました。実験結果は、XLTがさまざまな多言語タスクの性能を著しく向上させるだけでなく、各タスクにおける平均性能と最良性能のギャップを大幅に縮小することを示しています。特に、XLTは算術推論とオープンドメイン質問応答タスクにおいて、平均で10ポイント以上の改善をもたらします。
English
Large language models (LLMs) demonstrate impressive multilingual capability,
but their performance varies substantially across different languages. In this
work, we introduce a simple yet effective method, called cross-lingual-thought
prompting (XLT), to systematically improve the multilingual capability of LLMs.
Specifically, XLT is a generic template prompt that stimulates cross-lingual
and logical reasoning skills to enhance task performance across languages. We
conduct comprehensive evaluations on 7 typical benchmarks related to reasoning,
understanding, and generation tasks, covering both high-resource and
low-resource languages. Experimental results show that XLT not only remarkably
enhances the performance of various multilingual tasks but also significantly
reduces the gap between the average performance and the best performance of
each task in different languages. Notably, XLT brings over 10 points of average
improvement in arithmetic reasoning and open-domain question-answering tasks.