Gemma Technischer Bericht

TranslateGemma Technical Report

January 13, 2026

papers.authors: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

papers.abstract

Wir stellen TranslateGemma vor, eine Reihe offener maschineller Übersetzungsmodelle, die auf den Gemma-3-Foundation-Modellen basieren. Um die inhärenten mehrsprachigen Fähigkeiten von Gemma 3 für die Übersetzungsaufgabe zu verbessern, setzen wir einen zweistufigen Feinabstimmungsprozess ein. Zunächst wird eine überwachte Feinabstimmung mit einer reichhaltigen Mischung aus hochwertigen, großvolumigen synthetischen Parallel-Daten, die über modernste Modelle generiert wurden, und von Menschen übersetzten parallelen Daten durchgeführt. Darauf folgt eine Phase des bestärkenden Lernens, in der wir die Übersetzungsqualität mithilfe eines Ensembles von Belohnungsmodellen, darunter MetricX-QE und AutoMQM, optimieren und dabei die Übersetzungsqualität als Zielgröße verwenden. Wir demonstrieren die Wirksamkeit von TranslateGemma durch humanevaluierung am WMT25-Testsatz über 10 Sprachpaare hinweg sowie durch automatische Evaluierung auf dem WMT24++-Benchmark über 55 Sprachpaare. Automatische Metriken zeigen durchgängige und erhebliche Verbesserungen gegenüber den Basis-Gemma-3-Modellen in allen Größen. Bemerkenswerterweise erreichen kleinere TranslateGemma-Modelle oft eine Leistung, die mit größeren Basismodellen vergleichbar ist, und bieten so eine verbesserte Effizienz. Wir zeigen auch, dass TranslateGemma-Modelle starke multimodale Fähigkeiten beibehalten, mit gesteigerter Leistung auf dem Vistra-Bildübersetzungs-Benchmark. Die Veröffentlichung der offenen TranslateGemma-Modelle zielt darauf ab, der Forschungsgemeinschaft leistungsstarke und anpassungsfähige Werkzeuge für maschinelle Übersetzung bereitzustellen.

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.