Модельно-ориентированная оценка качества массово многоязычных параллельных данных

Аннотация

Крупномасштабный многоязычный битекст часто содержит две различные проблемы: непараллельные пары предложений и переводы низкого качества. Мы декомпозируем модельную оценку таких данных на две независимые компоненты: оценку параллельности с помощью многоязычных эмбеддингов и безэталонную оценку качества (QE). Для оценки параллельности мы тестируем четыре модели эмбеддингов на задачах ретрива FLORES-200 и BOUQuET, охватывающих 6 654 направления «исходный язык—целевой язык» в нашем перечне языковых пар. Для QE мы оцениваем девять безэталонных оценщиков на профессиональных переводах FLORES-200 по 41 412 упорядоченным направлениям «исходный язык—целевой язык». Результаты показывают, что ни одна модель не является универсально надежной для всех направлений перевода. Наивные ансамбли QE ослабляют сильные сигналы моделей, в то время как задокументированный охват целевого языка тесно связан с более высокими показателями QE. В целом эти выводы свидетельствуют о том, что оценку многоязычных параллельных данных оптимально рассматривать как задачу маршрутизации и калибровки с учетом направления, где не ожидается, что какая-либо единая универсальная метрика будет достаточной для всех языков.

English

Large-scale multilingual bitext often contains two distinct problems: non-parallel sentence pairs and low-quality translations. We decompose model-based assessment for such data into two independent components: parallelism assessment with multilingual embeddings and reference-free quality estimation (QE). For parallelism, we benchmark four embedding models on FLORES-200 and BOUQuET retrieval tasks, covering 6,654 source--target directions in our target language-pair inventory. For QE, we evaluate nine reference-free evaluators on professional FLORES-200 translations across 41,412 ordered source--target directions. Results show that no model is universally reliable across translation directions. Naive QE ensembles dilute strong model signals, while documented target-language coverage is strongly associated with higher QE scores. Overall, these findings suggest that multilingual parallel-data assessment is best approached as a direction-aware routing and calibration problem, where no single universal metric is expected to suffice across all languages.