Gemma Technisch Rapport

TranslateGemma Technical Report

January 13, 2026

Auteurs: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

Samenvatting

Wij presenteren TranslateGemma, een suite van open machinevertalingsmodellen gebaseerd op de Gemma 3 foundation-modellen. Om de inherente meertalige capaciteiten van Gemma 3 voor de vertaaltaak te verbeteren, hanteren we een tweestaps fine-tuningproces. Eerst wordt supervised fine-tuning uitgevoerd met een rijke mix van hoogwaardige, grootschalige synthetische parallelle data, gegenereerd via state-of-the-art modellen, en door mensen vertaalde parallelle data. Dit wordt gevolgd door een reinforcement learning-fase, waarin we de vertaalkwaliteit optimaliseren met behulp van een ensemble van beloningsmodellen, waaronder MetricX-QE en AutoMQM, gericht op vertaalkwaliteit. Wij demonstreren de effectiviteit van TranslateGemma met humane evaluatie op de WMT25-testset voor 10 taalparen en met automatische evaluatie op de WMT24++ benchmark voor 55 taalparen. Automatische metrieken tonen consistente en substantiële verbeteringen ten opzichte van de baseline Gemma 3-modellen voor alle formaten. Opmerkelijk is dat kleinere TranslateGemma-modellen vaak prestaties leveren die vergelijkbaar zijn met grotere baseline-modellen, wat een verbeterde efficiëntie biedt. Wij tonen ook aan dat TranslateGemma-modellen sterke multimodale capaciteiten behouden, met verbeterde prestaties op de Vistra-beeldvertalingsbenchmark. De release van de open TranslateGemma-modellen heeft tot doel de onderzoeksgemeenschap te voorzien van krachtige en aanpasbare tools voor machinevertaling.

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.