Восстановлено при переводе: Эффективный конвейер для автоматизированного перевода тестовых наборов и данных
Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets
February 25, 2026
Авторы: Hanna Yukhymenko, Anton Alexandrov, Martin Vechev
cs.AI
Аннотация
Надежность оценки многоязычных больших языковых моделей (LLM) в настоящее время подвергается сомнению из-за нестабильного качества переведенных эталонных тестов. Существующие ресурсы часто страдают от семантического сдвига и потери контекста, что может приводить к искаженным метрикам производительности. В данной работе мы представляем полностью автоматизированную систему, предназначенную для решения этих проблем путем обеспечения масштабируемого высококачественного перевода наборов данных и тестовых наборов. Мы демонстрируем, что адаптация стратегий масштабирования вычислений во время тестирования, в частности Универсального Самосовершенствования (USI) и нашего предлагаемого метода многотурового ранжирования T-RANK, позволяет достичь значительно более высокого качества результатов по сравнению с традиционными подходами. Наша система гарантирует, что эталонные тесты сохраняют свою исходную структуру задач и языковые нюансы в процессе локализации. Мы применяем этот подход для перевода популярных тестовых наборов и данных на восемь языков Восточной и Южной Европы (украинский, болгарский, словацкий, румынский, литовский, эстонский, турецкий, греческий). Оценки с использованием как метрик, основанных на эталонах, так и подхода LLM-as-a-judge показывают, что наши переводы превосходят существующие ресурсы, что приводит к более точной оценке моделей на последующих этапах. Мы публикуем как саму систему, так и улучшенные тестовые наборы для содействия надежной и воспроизводимой разработке многоязычного искусственного интеллекта.
English
The reliability of multilingual Large Language Model (LLM) evaluation is currently compromised by the inconsistent quality of translated benchmarks. Existing resources often suffer from semantic drift and context loss, which can lead to misleading performance metrics. In this work, we present a fully automated framework designed to address these challenges by enabling scalable, high-quality translation of datasets and benchmarks. We demonstrate that adapting test-time compute scaling strategies, specifically Universal Self-Improvement (USI) and our proposed multi-round ranking method, T-RANK, allows for significantly higher quality outputs compared to traditional pipelines. Our framework ensures that benchmarks preserve their original task structure and linguistic nuances during localization. We apply this approach to translate popular benchmarks and datasets into eight Eastern and Southern European languages (Ukrainian, Bulgarian, Slovak, Romanian, Lithuanian, Estonian, Turkish, Greek). Evaluations using both reference-based metrics and LLM-as-a-judge show that our translations surpass existing resources, resulting in more accurate downstream model assessment. We release both the framework and the improved benchmarks to facilitate robust and reproducible multilingual AI development.