Wiederhergestellt in der Übersetzung: Effiziente Pipeline zur automatisierten Übersetzung von Benchmarks und Datensätzen

Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets

February 25, 2026

Autoren: Hanna Yukhymenko, Anton Alexandrov, Martin Vechev

cs.AI

Zusammenfassung

Die Zuverlässigkeit der Evaluierung mehrsprachiger Large Language Models (LLMs) wird derzeit durch die inkonsistente Qualität übersetzter Benchmarks beeinträchtigt. Bestehende Ressourcen leiden häufig unter semantischer Drift und Kontextverlust, was zu irreführenden Leistungskennzahlen führen kann. In dieser Arbeit stellen wir ein vollständig automatisiertes Framework vor, das diese Herausforderungen adressiert, indem es skalierbare, hochwertige Übersetzungen von Datensätzen und Benchmarks ermöglicht. Wir zeigen, dass die Anpassung von Skalierungsstrategien für Testzeit-Berechnungen, insbesondere Universal Self-Improvement (USI) und unsere vorgeschlagene Multi-Round-Ranking-Methode T-RANK, deutlich höherwertige Ergebnisse im Vergleich zu traditionellen Pipelines liefert. Unser Framework stellt sicher, dass Benchmarks ihre ursprüngliche Aufgabenstruktur und linguistischen Nuancen während der Lokalisierung bewahren. Wir wenden diesen Ansatz an, um populäre Benchmarks und Datensätze in acht osteuropäische und südeuropäische Sprachen zu übersetzen (Ukrainisch, Bulgarisch, Slowakisch, Rumänisch, Litauisch, Estnisch, Türkisch, Griechisch). Evaluationen mittels referenzbasierter Metriken und LLM-as-a-Judge zeigen, dass unsere Übersetzungen bestehende Ressourcen übertreffen und zu einer genaueren Bewertung nachgelagerter Modelle führen. Wir veröffentlichen sowohl das Framework als auch die verbesserten Benchmarks, um eine robuste und reproduzierbare mehrsprachige KI-Entwicklung zu fördern.

English

The reliability of multilingual Large Language Model (LLM) evaluation is currently compromised by the inconsistent quality of translated benchmarks. Existing resources often suffer from semantic drift and context loss, which can lead to misleading performance metrics. In this work, we present a fully automated framework designed to address these challenges by enabling scalable, high-quality translation of datasets and benchmarks. We demonstrate that adapting test-time compute scaling strategies, specifically Universal Self-Improvement (USI) and our proposed multi-round ranking method, T-RANK, allows for significantly higher quality outputs compared to traditional pipelines. Our framework ensures that benchmarks preserve their original task structure and linguistic nuances during localization. We apply this approach to translate popular benchmarks and datasets into eight Eastern and Southern European languages (Ukrainian, Bulgarian, Slovak, Romanian, Lithuanian, Estonian, Turkish, Greek). Evaluations using both reference-based metrics and LLM-as-a-judge show that our translations surpass existing resources, resulting in more accurate downstream model assessment. We release both the framework and the improved benchmarks to facilitate robust and reproducible multilingual AI development.