LLaMAX2: Ваша модель с улучшенным переводом также демонстрирует высокие результаты в задачах логического рассуждения

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

October 10, 2025

Авторы: Changjiang Gao, Zixian Huang, Jingyang Gong, Shujian Huang, Lei Li, Fei Yuan

cs.AI

Аннотация

Общие крупные языковые модели (LLM) демонстрируют высокие результаты в задачах логического рассуждения, однако модели, оптимизированные для перевода, испытывают трудности в таких задачах. Для решения этой проблемы мы предлагаем новый подход к улучшению перевода, который начинается с инструктивных моделей и применяет выборочную настройку слоев только на параллельных данных. Следуя этому подходу, мы представляем модели Qwen3-XPlus, которые демонстрируют значительное улучшение качества перевода как для языков с высоким, так и с низким уровнем ресурсов, достигая показателей 15+ spBLEU и 40+ xComet для языков с низким уровнем ресурсов, таких как суахили. Интересно, что обучение только на небольших параллельных наборах данных позволяет Qwen3-XPlus добиться среднего улучшения на 1+ балл в 7 многоязычных задачах, сохраняя при этом уровень мастерства, сопоставимый с инструктивной моделью Qwen3 в 15 популярных наборах данных для логического рассуждения. Эта работа предлагает перспективный подход к многоязычному улучшению, значительно снижая сложность и повышая доступность для более широкого круга языков. Код и модель доступны публично.

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.