LLaMAX2: Il tuo modello potenziato per la traduzione eccelle anche nel ragionamento

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

October 10, 2025

Autori: Changjiang Gao, Zixian Huang, Jingyang Gong, Shujian Huang, Lei Li, Fei Yuan

cs.AI

Abstract

I modelli linguistici generali di grandi dimensioni (LLMs) eccellono nel ragionamento, ma quelli potenziati per la traduzione faticano nei compiti di ragionamento. Per affrontare questo problema, proponiamo una nuova metodologia di potenziamento per la traduzione che inizia con modelli di istruzione e applica un tuning selettivo a livello di layer solo su dati paralleli. Seguendo questa pipeline, introduciamo i modelli Qwen3-XPlus, che dimostrano miglioramenti significativi nelle prestazioni di traduzione sia per lingue ad alta che a bassa risorsa, raggiungendo punteggi di 15+ spBLEU e 40+ xComet in lingue a bassa risorsa, come lo swahili. È interessante notare che, addestrando solo con piccoli dataset paralleli, Qwen3-XPlus ottiene un miglioramento medio di oltre 1 punto su 7 task multilingue, mantenendo una competenza paragonabile al modello Qwen3 di istruzione su 15 popolari dataset di ragionamento. Questo lavoro offre un approccio promettente per il potenziamento multilingue, riducendo significativamente la complessità e migliorando l'accessibilità per una gamma più ampia di lingue. Il codice e il modello sono pubblicamente disponibili.

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.