LLaMAX2: Uw vertaalverbeterde model presteert ook goed in redeneren

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

October 10, 2025

Auteurs: Changjiang Gao, Zixian Huang, Jingyang Gong, Shujian Huang, Lei Li, Fei Yuan

cs.AI

Samenvatting

Algemene Large Language Models (LLM's) blinken uit in redeneervaardigheden, maar modellen die zijn versterkt voor vertalingen hebben moeite met redeneertaken. Om dit aan te pakken, stellen we een nieuw vertaalversterkt recept voor dat begint met instructmodellen en alleen laagselectieve afstemming toepast op parallelle data. Volgens deze aanpak introduceren we de Qwen3-XPlus-modellen, die aanzienlijke verbeteringen laten zien in vertaalprestaties voor zowel hoog- als laagresource-talen, met scores van 15+ spBLEU en 40+ xComet voor laagresource-talen zoals Swahili. Opmerkelijk is dat Qwen3-XPlus, ondanks training met slechts kleine parallelle datasets, een gemiddelde verbetering van 1+ punten behaalt op 7 meertalige taken, terwijl het een vergelijkbaar vaardigheidsniveau behoudt als het Qwen3-instructmodel op 15 populaire redeneerdatasets. Dit werk biedt een veelbelovende aanpak voor meertalige verbetering, waarbij de complexiteit aanzienlijk wordt verminderd en de toegankelijkheid voor een breder scala aan talen wordt vergroot. De code en het model zijn publiekelijk beschikbaar.

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.