LLaMAX2: 번역 기능이 강화된 당신의 모델은 추론 작업에서도 뛰어난 성능을 보입니다

초록

일반적인 대형 언어 모델(LLMs)은 추론 능력에서 뛰어나지만, 번역을 위해 강화된 모델들은 추론 과제에서 어려움을 겪습니다. 이를 해결하기 위해, 우리는 인스트럭트 모델로 시작하고 병렬 데이터에 대해서만 레이어 선택적 튜닝을 적용하는 새로운 번역 강화 방식을 제안합니다. 이 파이프라인을 따라, 우리는 Qwen3-XPlus 모델을 소개하며, 이 모델은 스와힐리어와 같은 저자원 언어를 포함한 고자원 및 저자원 언어 모두에서 번역 성능이 크게 향상되어 15+ spBLEU와 40+ xComet을 달성합니다. 흥미롭게도, 소규모 병렬 데이터셋만으로 훈련된 Qwen3-XPlus는 7개의 다국어 과제에서 평균 1점 이상의 향상을 보이면서도, 15개의 인기 있는 추론 데이터셋에서 Qwen3 인스트럭트 모델과 비슷한 숙련도를 유지합니다. 이 연구는 다국어 강화를 위한 유망한 접근 방식을 제시하며, 복잡성을 크게 줄이고 더 넓은 범위의 언어에 대한 접근성을 향상시킵니다. 코드와 모델은 공개적으로 이용 가능합니다.

English

General Large Language Models (LLMs) excel in reasoning, but those enhanced for translation struggle with reasoning tasks. To address this, we propose a novel translationenhanced recipe that begins with instruct models and applies layer-selective tuning only on parallel data. Following this pipeline, we introduce the Qwen3-XPlus models, which demonstrate significant improvements in translation performance across both high- and lowresource languages, achieving 15+ spBLEU and 40+ xComet in low-resource languages, like Swahili. Interestingly, training only with small parallel datasets, Qwen3-XPlus achieves an average improvement of 1+ points on 7 multilingual tasks while maintaining proficiency comparable to the Qwen3 instruct model in 15 popular reasoning datasets. This work offers a promising approach to multilingual enhancement, significantly reducing complexity and enhancing accessibility for a wider range of languages. The code and model are publicly available.

LLaMAX2: 번역 기능이 강화된 당신의 모델은 추론 작업에서도 뛰어난 성능을 보입니다

LLaMAX2: Your Translation-Enhanced Model also Performs Well in Reasoning

초록

Support