ジェンマ技術報告書

TranslateGemma Technical Report

January 13, 2026

著者: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

要旨

我々は、Gemma 3基盤モデルに基づくオープンな機械翻訳モデル群「TranslateGemma」を提案する。Gemma 3が本来備える多言語能力を翻訳タスク向けに強化するため、2段階のファインチューニングプロセスを採用した。第一段階では、最先端モデルにより生成された大規模で高品質な合成並列データと、人手で翻訳された並列データを豊富に組み合わせたデータを用いて教師ありファインチューニングを実施する。続く第二段階では、強化学習フェーズにおいて、MetricX-QEやAutoMQMなどの報酬モデル群を用いて翻訳品質を最適化する。我々は、WMT25テストセットにおける10言語ペアでの人間評価、およびWMT24++ベンチマークにおける55言語ペアでの自動評価を通じて、TranslateGemmaの有効性を実証する。自動評価指標では、全てのモデルサイズにおいて、ベースラインとなるGemma 3モデルに対し、一貫した大幅な性能向上が確認された。特に、小規模なTranslateGemmaモデルは、より大規模なベースラインモデルに匹敵する性能を達成することが多く、効率性の向上をもたらす。また、TranslateGemmaモデルは強力なマルチモーダル能力を保持しており、Vistra画像翻訳ベンチマークにおいて性能が向上していることも示す。オープンなTranslateGemmaモデルの公開は、研究コミュニティに強力で適応性の高い機械翻訳のツールを提供することを目的としている。

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.