Rapport Technique de Gemma

TranslateGemma Technical Report

January 13, 2026

papers.authors: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

papers.abstract

Nous présentons TranslateGemma, une suite de modèles de traduction automatique ouverts basés sur les modèles de fondation Gemma 3. Pour améliorer les capacités multilingues inhérentes de Gemma 3 pour la tâche de traduction, nous employons un processus de fine-tuning en deux étapes. Premièrement, un fine-tuning supervisé est effectué en utilisant un riche mélange de données parallèles synthétiques de grande échelle et de haute qualité, générées via des modèles de pointe, et de données parallèles traduites par des humains. Ceci est suivi par une phase d'apprentissage par renforcement, où nous optimisons la qualité de la traduction en utilisant un ensemble de modèles de récompense, incluant MetricX-QE et AutoMQM, ciblant la qualité de la traduction. Nous démontrons l'efficacité de TranslateGemma avec une évaluation humaine sur le jeu de test WMT25 pour 10 paires de langues et avec une évaluation automatique sur le benchmark WMT24++ pour 55 paires de langues. Les métriques automatiques montrent des gains constants et substantiels par rapport aux modèles de référence Gemma 3, toutes tailles confondues. Notamment, les modèles TranslateGemma plus petits atteignent souvent des performances comparables aux modèles de référence plus grands, offrant ainsi une efficacité améliorée. Nous montrons également que les modèles TranslateGemma conservent de solides capacités multimodales, avec des performances accrues sur le benchmark de traduction d'images Vistra. La publication des modèles ouverts TranslateGemma vise à fournir à la communauté de recherche des outils puissants et adaptables pour la traduction automatique.

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.