Modellbasierte Qualitätsbewertung für massiv mehrsprachige parallele Daten

Zusammenfassung

Groß angelegte mehrsprachige Bitexte weisen häufig zwei unterschiedliche Probleme auf: nicht-parallele Satzpaare und Übersetzungen geringer Qualität. Wir zerlegen die modellbasierte Bewertung solcher Daten in zwei unabhängige Komponenten: die Parallelitätsbewertung mithilfe mehrsprachiger Einbettungen und die referenzfreie Qualitätsschätzung (QE). Für die Parallelität evaluieren wir vier Einbettungsmodelle anhand von FLORES-200- und BOUQuET-Retrieval-Aufgaben, die 6.654 Quell-Ziel-Richtungen in unserem Zielsprachenpaar-Inventar abdecken. Für die QE bewerten wir neun referenzfreie Evaluatoren anhand professioneller FLORES-200-Übersetzungen über 41.412 geordnete Quell-Ziel-Richtungen hinweg. Die Ergebnisse zeigen, dass kein Modell über alle Übersetzungsrichtungen hinweg universell zuverlässig ist. Naive QE-Ensembles verwässern starke Modellsignale, während eine dokumentierte Zielsprachenabdeckung stark mit höheren QE-Werten assoziiert ist. Insgesamt deuten diese Ergebnisse darauf hin, dass die Bewertung mehrsprachiger Paralleldaten am besten als ein richtungsbewusstes Routing- und Kalibrierungsproblem angegangen wird, bei dem nicht erwartet werden kann, dass eine einzige universelle Metrik für alle Sprachen ausreicht.

English

Large-scale multilingual bitext often contains two distinct problems: non-parallel sentence pairs and low-quality translations. We decompose model-based assessment for such data into two independent components: parallelism assessment with multilingual embeddings and reference-free quality estimation (QE). For parallelism, we benchmark four embedding models on FLORES-200 and BOUQuET retrieval tasks, covering 6,654 source--target directions in our target language-pair inventory. For QE, we evaluate nine reference-free evaluators on professional FLORES-200 translations across 41,412 ordered source--target directions. Results show that no model is universally reliable across translation directions. Naive QE ensembles dilute strong model signals, while documented target-language coverage is strongly associated with higher QE scores. Overall, these findings suggest that multilingual parallel-data assessment is best approached as a direction-aware routing and calibration problem, where no single universal metric is expected to suffice across all languages.