LLaMAX2 : Votre modèle amélioré par la traduction excelle également en raisonnement

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

October 10, 2025

papers.authors: Changjiang Gao, Zixian Huang, Jingyang Gong, Shujian Huang, Lei Li, Fei Yuan

cs.AI

papers.abstract

Les modèles de langage généralistes (LLMs) excellent dans le raisonnement, mais ceux optimisés pour la traduction peinent dans les tâches de raisonnement. Pour résoudre ce problème, nous proposons une nouvelle approche d'amélioration de la traduction qui commence avec des modèles d'instruction et applique un réglage sélectif par couches uniquement sur des données parallèles. En suivant cette méthode, nous introduisons les modèles Qwen3-XPlus, qui démontrent des améliorations significatives dans les performances de traduction, aussi bien pour les langues riches en ressources que pour celles qui en sont pauvres, atteignant des scores de plus de 15 spBLEU et 40 xComet pour des langues à faibles ressources comme le swahili. Fait intéressant, en s'entraînant uniquement sur de petits ensembles de données parallèles, Qwen3-XPlus obtient une amélioration moyenne de plus d'un point sur 7 tâches multilingues tout en maintenant une compétence comparable au modèle d'instruction Qwen3 sur 15 jeux de données de raisonnement populaires. Ce travail offre une approche prometteuse pour l'amélioration multilingue, réduisant considérablement la complexité et améliorant l'accessibilité pour un plus large éventail de langues. Le code et le modèle sont disponibles publiquement.

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.