LLaMAX2: Seu Modelo Aprimorado para Tradução também Desempenha Bem em Raciocínio

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

October 10, 2025

Autores: Changjiang Gao, Zixian Huang, Jingyang Gong, Shujian Huang, Lei Li, Fei Yuan

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) gerais se destacam em tarefas de raciocínio, mas aqueles aprimorados para tradução enfrentam dificuldades em tarefas de raciocínio. Para resolver isso, propomos uma nova abordagem de aprimoramento para tradução que começa com modelos de instrução e aplica ajuste seletivo de camadas apenas em dados paralelos. Seguindo esse pipeline, introduzimos os modelos Qwen3-XPlus, que demonstram melhorias significativas no desempenho de tradução em idiomas de alta e baixa disponibilidade de recursos, alcançando mais de 15 spBLEU e mais de 40 xComet em idiomas de baixa disponibilidade de recursos, como o suaíli. Curiosamente, ao treinar apenas com pequenos conjuntos de dados paralelos, o Qwen3-XPlus alcança uma melhoria média de mais de 1 ponto em 7 tarefas multilingues, mantendo proficiência comparável ao modelo de instrução Qwen3 em 15 conjuntos de dados populares de raciocínio. Este trabalho oferece uma abordagem promissora para o aprimoramento multilingue, reduzindo significativamente a complexidade e aumentando a acessibilidade para uma gama mais ampla de idiomas. O código e o modelo estão publicamente disponíveis.

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.