Avaliação de Qualidade Baseada em Modelos para Dados Paralelos Massivamente Multilíngues

Resumo

O bitexto multilíngue em larga escala frequentemente apresenta dois problemas distintos: pares de frases não paralelos e traduções de baixa qualidade. Decompomos a avaliação baseada em modelo para tais dados em dois componentes independentes: avaliação de paralelismo com incorporações multilíngues e estimativa de qualidade (QE) sem referência. Para o paralelismo, avaliamos quatro modelos de incorporação nas tarefas de recuperação do FLORES-200 e BOUQuET, abrangendo 6.654 direções fonte–alvo em nosso inventário de pares de idiomas alvo. Para QE, avaliamos nove avaliadores sem referência em traduções profissionais do FLORES-200 em 41.412 direções fonte–alvo ordenadas. Os resultados mostram que nenhum modelo é universalmente confiável em todas as direções de tradução. Conjuntos ingênuos de QE diluem sinais fortes dos modelos, enquanto a cobertura documentada do idioma alvo está fortemente associada a pontuações mais altas de QE. No geral, esses resultados sugerem que a avaliação de dados paralelos multilíngues é melhor abordada como um problema de roteamento e calibração ciente da direção, onde não se espera que uma única métrica universal seja suficiente para todos os idiomas.

English

Large-scale multilingual bitext often contains two distinct problems: non-parallel sentence pairs and low-quality translations. We decompose model-based assessment for such data into two independent components: parallelism assessment with multilingual embeddings and reference-free quality estimation (QE). For parallelism, we benchmark four embedding models on FLORES-200 and BOUQuET retrieval tasks, covering 6,654 source--target directions in our target language-pair inventory. For QE, we evaluate nine reference-free evaluators on professional FLORES-200 translations across 41,412 ordered source--target directions. Results show that no model is universally reliable across translation directions. Naive QE ensembles dilute strong model signals, while documented target-language coverage is strongly associated with higher QE scores. Overall, these findings suggest that multilingual parallel-data assessment is best approached as a direction-aware routing and calibration problem, where no single universal metric is expected to suffice across all languages.