Rapporto Tecnico su Gemma

TranslateGemma Technical Report

January 13, 2026

Autori: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

Abstract

Presentiamo TranslateGemma, una suite di modelli aperti per la traduzione automatica basati sui modelli fondazionali Gemma 3. Per potenziare le capacità multilingue intrinseche di Gemma 3 per il compito di traduzione, adottiamo un processo di fine-tuning in due fasi. Inizialmente, viene eseguito un fine-tuning supervisionato utilizzando una ricca miscela di dati paralleli sintetici su larga scala e di alta qualità, generati tramite modelli all'avanguardia, e di dati paralleli tradotti da esseri umani. Questa fase è seguita da una fase di apprendimento per rinforzo, in cui ottimizziamo la qualità della traduzione utilizzando un ensemble di modelli di ricompensa, inclusi MetricX-QE e AutoMQM, mirati alla qualità della traduzione. Dimostriamo l'efficacia di TranslateGemma con una valutazione umana sul test set WMT25 su 10 coppie linguistiche e con una valutazione automatica sul benchmark WMT24++ su 55 coppie linguistiche. Le metriche automatiche mostrano miglioramenti consistenti e sostanziali rispetto ai modelli baseline Gemma 3 in tutte le dimensioni. È degno di nota che i modelli TranslateGemma più piccoli raggiungano spesso prestazioni paragonabili a modelli baseline più grandi, offrendo una migliore efficienza. Mostriamo inoltre che i modelli TranslateGemma conservano solide capacità multimodali, con prestazioni potenziate sul benchmark di traduzione di immagini Vistra. Il rilascio dei modelli aperti TranslateGemma mira a fornire alla comunità di ricerca strumenti potenti e adattabili per la traduzione automatica.

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.