LLaMAX2: Tu modelo mejorado para traducción también destaca en razonamiento

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

October 10, 2025

Autores: Changjiang Gao, Zixian Huang, Jingyang Gong, Shujian Huang, Lei Li, Fei Yuan

cs.AI

Resumen

Los modelos de lenguaje generales (LLMs) sobresalen en razonamiento, pero aquellos optimizados para traducción enfrentan dificultades en tareas de razonamiento. Para abordar esto, proponemos una novedosa receta de mejora para traducción que comienza con modelos de instrucción y aplica ajuste selectivo por capas únicamente en datos paralelos. Siguiendo este enfoque, presentamos los modelos Qwen3-XPlus, que demuestran mejoras significativas en el rendimiento de traducción tanto en idiomas de recursos altos como bajos, alcanzando más de 15 spBLEU y más de 40 xComet en idiomas de bajos recursos, como el swahili. Curiosamente, al entrenar únicamente con pequeños conjuntos de datos paralelos, Qwen3-XPlus logra una mejora promedio de más de 1 punto en 7 tareas multilingües, mientras mantiene una competencia comparable al modelo de instrucción Qwen3 en 15 conjuntos de datos populares de razonamiento. Este trabajo ofrece un enfoque prometedor para la mejora multilingüe, reduciendo significativamente la complejidad y aumentando la accesibilidad para una gama más amplia de idiomas. El código y el modelo están disponibles públicamente.

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.