Informe Técnico de Gemma

TranslateGemma Technical Report

January 13, 2026

Autores: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

Resumen

Presentamos TranslateGemma, una suite de modelos abiertos de traducción automática basados en los modelos fundacionales Gemma 3. Para potenciar las capacidades multilingües inherentes de Gemma 3 en la tarea de traducción, empleamos un proceso de ajuste fino en dos etapas. Primero, se realiza un ajuste fino supervisado utilizando una mezcla rica de datos paralelos sintéticos de alta calidad y gran escala, generados mediante modelos de última generación, junto con datos paralelos traducidos por humanos. A esto le sigue una fase de aprendizaje por refuerzo, donde optimizamos la calidad de la traducción utilizando un conjunto de modelos de recompensa, incluyendo MetricX-QE y AutoMQM, orientados a la calidad de la traducción. Demostramos la eficacia de TranslateGemma mediante evaluación humana en el conjunto de pruebas WMT25 a través de 10 pares de idiomas y con evaluación automática en el benchmark WMT24++ a través de 55 pares de idiomas. Las métricas automáticas muestran mejoras consistentes y sustanciales con respecto a los modelos base Gemma 3 en todos los tamaños. Cabe destacar que los modelos TranslateGemma más pequeños a menudo logran un rendimiento comparable al de los modelos base más grandes, ofreciendo una eficiencia mejorada. También mostramos que los modelos TranslateGemma conservan sólidas capacidades multimodales, con un rendimiento mejorado en el benchmark de traducción de imágenes Vistra. La publicación de los modelos abiertos TranslateGemma tiene como objetivo proporcionar a la comunidad investigadora herramientas potentes y adaptables para la traducción automática.

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.