LLaMAX2: 翻訳機能を強化したモデルは、推論タスクでも優れた性能を発揮

要旨

一般的な大規模言語モデル（LLM）は推論に優れていますが、翻訳用に強化されたモデルは推論タスクに苦戦します。この問題に対処するため、我々は新しい翻訳強化手法を提案します。この手法は、まず指示モデルから始め、並列データに対してのみ層選択的チューニングを適用します。このパイプラインに従い、Qwen3-XPlusモデルを導入しました。このモデルは、高資源言語と低資源言語の両方で翻訳性能が大幅に向上し、スワヒリ語などの低資源言語において15以上のspBLEUと40以上のxCometを達成しました。興味深いことに、小規模な並列データセットのみでトレーニングを行ったQwen3-XPlusは、7つの多言語タスクで平均1ポイント以上の改善を達成しつつ、15の一般的な推論データセットにおいてQwen3指示モデルと同等の熟練度を維持しました。この研究は、多言語強化への有望なアプローチを提供し、複雑さを大幅に削減し、より広範な言語へのアクセス性を向上させます。コードとモデルは公開されています。

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.

LLaMAX2: 翻訳機能を強化したモデルは、推論タスクでも優れた性能を発揮

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

要旨

Support