Gemma 기술 보고서

TranslateGemma Technical Report

January 13, 2026

저자: Mara Finkelstein, Isaac Caswell, Tobias Domhan, Jan-Thorsten Peter, Juraj Juraska, Parker Riley, Daniel Deutsch, Cole Dilanni, Colin Cherry, Eleftheria Briakou, Elizabeth Nielsen, Jiaming Luo, Kat Black, Ryan Mullins, Sweta Agrawal, Wenda Xu, Erin Kats, Stephane Jaskiewicz, Markus Freitag, David Vilar

cs.AI

초록

우리는 Gemma 3 기반 모델을 기반으로 한 오픈 기계 번역 모델군인 TranslateGemma를 소개한다. 번역 작업을 위해 Gemma 3의 내재된 다국어 능력을 향상시키기 위해, 우리는 두 단계의 미세 조정 과정을 적용했다. 첫째, 최첨단 모델을 통해 생성된 대규모 고품질 합성 병렬 데이터와 인간이 번역한 병렬 데이터의 풍부한 혼합물을 사용하여 지도 미세 조정을 수행한다. 이어서 강화 학습 단계에서는 MetricX-QE와 AutoMQM 등을 포함한 보상 모델 앙상블을 사용하여 번역 품질을 목표로 최적화를 진행한다. 우리는 WMT25 테스트 세트에서 10개 언어 쌍에 대한 인간 평가와 WMT24++ 벤치마크에서 55개 언어 쌍에 대한 자동 평가를 통해 TranslateGemma의 효과를 입증한다. 자동 평가 지표는 모든 규모에서 기준이 되는 Gemma 3 모델 대비 일관적이고 상당한 성능 향상을 보여준다. 특히 더 작은 규모의 TranslateGemma 모델이 종종 더 큰 기준 모델에 필적하는 성능을 달성하여 향상된 효율성을 제공한다. 또한 TranslateGemma 모델이 Vistra 이미지 번역 벤치마크에서 향상된 성능을 보이며 강력한 다중모달 능력을 유지함을 보여준다. 오픈 TranslateGemma 모델의 공개는 연구 커뮤니티에 강력하고 적응성이 높은 기계 번역 도구를 제공하는 것을 목표로 한다.

English

We present TranslateGemma, a suite of open machine translation models based on the Gemma 3 foundation models. To enhance the inherent multilingual capabilities of Gemma 3 for the translation task, we employ a two-stage fine-tuning process. First, supervised fine-tuning is performed using a rich mixture of high-quality large-scale synthetic parallel data generated via state-of-the-art models and human-translated parallel data. This is followed by a reinforcement learning phase, where we optimize translation quality using an ensemble of reward models, including MetricX-QE and AutoMQM, targeting translation quality. We demonstrate the effectiveness of TranslateGemma with human evaluation on the WMT25 test set across 10 language pairs and with automatic evaluation on the WMT24++ benchmark across 55 language pairs. Automatic metrics show consistent and substantial gains over the baseline Gemma 3 models across all sizes. Notably, smaller TranslateGemma models often achieve performance comparable to larger baseline models, offering improved efficiency. We also show that TranslateGemma models retain strong multimodal capabilities, with enhanced performance on the Vistra image translation benchmark. The release of the open TranslateGemma models aims to provide the research community with powerful and adaptable tools for machine translation.