Recuperado na Tradução: Pipeline Eficiente para Tradução Automática de Benchmarks e Conjuntos de Dados

Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets

February 25, 2026

Autores: Hanna Yukhymenko, Anton Alexandrov, Martin Vechev

cs.AI

Resumo

A confiabilidade da avaliação de modelos de linguagem grandes (LLMs) multilingues é atualmente comprometida pela qualidade inconsistente dos benchmarks traduzidos. Os recursos existentes frequentemente sofrem com desvio semântico e perda de contexto, o que pode levar a métricas de desempenho enganosas. Neste trabalho, apresentamos uma estrutura totalmente automatizada concebida para enfrentar estes desafios, permitindo a tradução escalável e de alta qualidade de conjuntos de dados e benchmarks. Demonstramos que a adaptação de estratégias de dimensionamento de computação no momento do teste, especificamente a Autossuperação Universal (USI) e o nosso método de classificação em múltiplas rondas proposto, T-RANK, permite obter resultados significativamente superiores em qualidade em comparação com os pipelines tradicionais. A nossa estrutura garante que os benchmarks preservam a sua estrutura de tarefa original e nuances linguísticas durante a localização. Aplicamos esta abordagem para traduzir benchmarks e conjuntos de dados populares para oito línguas da Europa Oriental e Meridional (Ucraniano, Búlgaro, Eslovaco, Romeno, Lituano, Estónio, Turco, Grego). As avaliações utilizando tanto métricas baseadas em referência como o método LLM-como-juiz mostram que as nossas traduções superam os recursos existentes, resultando numa avaliação de modelos subsequente mais precisa. Disponibilizamos tanto a estrutura como os benchmarks melhorados para facilitar um desenvolvimento de IA multilingue robusto e reproduzível.

English

The reliability of multilingual Large Language Model (LLM) evaluation is currently compromised by the inconsistent quality of translated benchmarks. Existing resources often suffer from semantic drift and context loss, which can lead to misleading performance metrics. In this work, we present a fully automated framework designed to address these challenges by enabling scalable, high-quality translation of datasets and benchmarks. We demonstrate that adapting test-time compute scaling strategies, specifically Universal Self-Improvement (USI) and our proposed multi-round ranking method, T-RANK, allows for significantly higher quality outputs compared to traditional pipelines. Our framework ensures that benchmarks preserve their original task structure and linguistic nuances during localization. We apply this approach to translate popular benchmarks and datasets into eight Eastern and Southern European languages (Ukrainian, Bulgarian, Slovak, Romanian, Lithuanian, Estonian, Turkish, Greek). Evaluations using both reference-based metrics and LLM-as-a-judge show that our translations surpass existing resources, resulting in more accurate downstream model assessment. We release both the framework and the improved benchmarks to facilitate robust and reproducible multilingual AI development.