레퍼런스 없는 오픈 초대형 언어 모델의 다국어 기계 번역을 위한 후속 학습

초록

우리는 오픈 대형 언어 모델을 활용한 다국어 기계 번역의 참조-자유 사후 학습을 연구한다. 지도 미세 조정된 MiLMMT-46-v0.1 모델에서 시작하여, 두 개의 참조-자유 품질 추정 모델의 평균을 보상으로 사용하고 언어 식별에 의해 게이팅되는 Group Relative Policy Optimization(GRPO)을 적용한다. 그런 다음 지도 미세 조정(SFT)과 강화 학습(RL) 모델 체크포인트를 선형 보간하여 MiLMMT-46-v1.0을 얻는다. 46개 언어 전반에 걸쳐, 결과 모델은 SFT 대응 모델에 비해 번역 품질을 일관되게 향상시키며, Seed-X, HY-MT2, TranslateGemma를 포함한 최근의 강력한 오픈 베이스라인을 능가하고, Google Translate, Gemini 3 Pro, GPT-5와 같은 평가된 독점 시스템에 대해 최고 수준의 참조-자유 점수를 달성한다. 우리는 또한 온-폴리시 증류를 추가로 조사하며, 이것이 체크포인트 보간을 통한 RL이 달성한 품질 최전선에 도달하지만 능가하지는 않음을 발견한다. 향후 연구를 지원하기 위해 모델과 코드를 공개한다.

English

We study reference-free post-training for multilingual machine translation with open large language models. Starting from the supervised-finetuned MiLMMT-46-v0.1 models, we apply Group Relative Policy Optimization (GRPO) with a reward that averages two reference-free quality estimation models and is gated by language identification. We then linearly interpolate the supervised fine-tuning (SFT) and reinforcement learning (RL) model checkpoints to obtain MiLMMT-46-v1.0. Across 46 languages, the resulting models consistently improve translation quality over their SFT counterparts, outperform strong recent open baselines, including Seed-X, HY-MT2, and TranslateGemma, and achieve leading reference-free scores against evaluated proprietary systems such as Google Translate, Gemini 3 Pro, and GPT-5. We further investigate on-policy distillation and find that it reaches, but does not surpass, the quality frontier achieved by RL with checkpoint interpolation. We release the models and code to facilitate future research.