多言語機械翻訳のためのオープン大規模言語モデルの参照なしポストトレーニング

要旨

本研究では、オープンな大規模言語モデルを用いた多言語機械翻訳のための参照なしポストトレーニングを検討する。教師ありファインチューニング済みのMiLMMT-46-v0.1モデルを出発点として、言語識別によってゲートされる、2つの参照なし品質推定モデルの平均を報酬とするグループ相対方策最適化（GRPO）を適用する。次に、教師ありファインチューニング（SFT）と強化学習（RL）のモデルチェックポイントを線形補間してMiLMMT-46-v1.0を得る。得られたモデルは、46言語にわたり、対応するSFTモデルと比較して翻訳品質を一貫して向上させ、Seed-X、HY-MT2、TranslateGemmaなどの最近の強力なオープンベースラインを上回り、Google Translate、Gemini 3 Pro、GPT-5などの評価対象のプロプライエタリシステムと比較して、最高水準の参照なしスコアを達成する。さらに、オン方策蒸留を調査し、それがチェックポイント補間を用いたRLによって達成される品質の最前線に到達するものの、それを超えることはないことを見いだす。今後の研究を促進するため、モデルとコードを公開する。

English

We study reference-free post-training for multilingual machine translation with open large language models. Starting from the supervised-finetuned MiLMMT-46-v0.1 models, we apply Group Relative Policy Optimization (GRPO) with a reward that averages two reference-free quality estimation models and is gated by language identification. We then linearly interpolate the supervised fine-tuning (SFT) and reinforcement learning (RL) model checkpoints to obtain MiLMMT-46-v1.0. Across 46 languages, the resulting models consistently improve translation quality over their SFT counterparts, outperform strong recent open baselines, including Seed-X, HY-MT2, and TranslateGemma, and achieve leading reference-free scores against evaluated proprietary systems such as Google Translate, Gemini 3 Pro, and GPT-5. We further investigate on-policy distillation and find that it reaches, but does not surpass, the quality frontier achieved by RL with checkpoint interpolation. We release the models and code to facilitate future research.