Технический отчет Gemma

TranslateGemma Technical Report

January 13, 2026

Авторы: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

Аннотация

Мы представляем TranslateGemma — набор открытых моделей машинного перевода, основанных на базовых моделях Gemma 3. Для повышения присущих Gemma 3 мультиязычных возможностей применительно к задаче перевода мы применяем двухэтапный процесс дообучения. Сначала выполняется контролируемое дообучение с использованием богатой смеси высококачественных синтетических параллельных данных крупного масштаба, сгенерированных с помощью передовых моделей, и данных человеческого перевода. За этим следует этап обучения с подкреплением, на котором мы оптимизируем качество перевода с использованием ансамбля моделей вознаграждения, включая MetricX-QE и AutoMQM, нацеленных на качество перевода. Мы демонстрируем эффективность TranslateGemma с помощью человеческой оценки на тестовом наборе WMT25 для 10 языковых пар и автоматической оценки на бенчмарке WMT24++ для 55 языковых пар. Автоматические метрики показывают стабильный и существенный прирост по сравнению с базовыми моделями Gemma 3 для всех размеров. Примечательно, что меньшие модели TranslateGemma часто достигают производительности, сопоставимой с более крупными базовыми моделями, предлагая улучшенную эффективность. Мы также показываем, что модели TranslateGemma сохраняют сильные мультимодальные возможности с улучшенной производительностью на бенчмарке перевода изображений Vistra. Выпуск открытых моделей TranslateGemma направлен на предоставление научному сообществу мощных и адаптируемых инструментов для машинного перевода.

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.