大規模言語モデルは、標的を絞った合成多言語データによって性能が向上する

要旨

言語特異的適性（LSC）は、言語モデルの性能がプロンプトの言語に応じて良くなったり悪くなったりする現象である。言い換えれば、言語モデルは、同じ意味的クエリに対して異なる言語でプロンプトされると、異なる（そして潜在的に誤った）応答を出力する。従来研究では、これは言語間の意味表現の内部的な不整合に起因するとされている。現在、文献にはLSCに対処する主なアプローチが2つある：（1）すべてのクエリを英語経由で処理することで性能を向上させるが、言語の表現力を英語に制限する；（2）言語バランスの取れたデータでトレーニングすることで、言語間のモデル性能を均等化するが、全体的な性能を低下させる。本研究では、データ中心の視点から、HOTFIXR（Hardness Optimized Training data For Improving X-Lingual Reasoning）を導入する。これは、モデルを用いて学生モデルの多言語の弱点を調査・学習し、それらを軽減するデータを生成するデータ生成フレームワークである。HOTFIXRは、多言語の合成トレーニングデータを生成することで、多言語性能を向上させることができる。我々は、3つの分布内タスク、3つの分布外タスク、および4つの分布外言語で評価する。平均的に、HOTFIXRは（1）分布内性能を6.2%向上させ、（2）ファインチューニングによって誘発される破滅的忘却を分布外（OOD）タスクで3.7%軽減し、（3）分布外言語で7.1%軽減する。全体として、多くの実世界アプリケーションが多言語LLMを必要とする中で、我々の研究はLLMを多言語に熟達させる取り組みに貢献する。採択後、コードを公開する予定である。

English

Language-specific competency (LSC) is the phenomenon of a language model performing better or worse depending on the language of the prompt. In other words, a language model outputs different (and potentially incorrect) responses to the same semantic query when prompted in different languages. Prior work attributes this to an internal misalignment of semantic representation across languages. Currently, there are two main approaches to address LSC in the literature: (1) routing all queries through English, improving performance, but limiting language expressivity to English; or (2) training on language-balanced data, equalizing model performance across languages, but reducing overall performance. In this work, we take a data centric perspective and introduce HOTFIXR: Hardness Optimized Training data For Improving X-Lingual Reasoning. It is a data generation framework that uses models to probe and learn a student model's multilingual weaknesses, and generates data to mitigate them. HOTFIXR can generate multilingual synthetic training data that can improve multilingual performance. We evaluate on three in-distribution tasks, three out-of-distribution tasks, and four out-of-distribution languages. On average, HOTFIXR (1) improves in-distribution performance by 6.2%, (2) reduces catastrophic forgetting (induced by fine-tuning) on OOD tasks by 3.7%, and (3) on OOD languages by 7.1%. Overall, as many real-world applications requires multilingual LLMs, our work contributes to the efforts of making LLMs multilingually proficient. We will release code upon acceptance.