대규모 다국어 병렬 데이터를 위한 모델 기반 품질 평가

초록

대규모 다국어 바이트텍스트는 흔히 비병렬 문장 쌍과 저품질 번역이라는 두 가지 뚜렷한 문제를 포함한다. 우리는 이러한 데이터에 대한 모델 기반 평가를 다국어 임베딩을 활용한 병렬성 평가와 참조 없는 품질 추정(QE)이라는 두 가지 독립적인 요소로 분해한다. 병렬성 평가를 위해, 우리는 FLORES-200 및 BOUQuET 검색 작업에서 네 가지 임베딩 모델을 벤치마킹하며, 이는 우리의 대상 언어쌍 목록에서 6,654개의 원본-대상 방향을 포괄한다. QE의 경우, 우리는 41,412개의 정렬된 원본-대상 방향에 걸쳐 전문 FLORES-200 번역에서 아홉 가지 참조 없는 평가자를 평가한다. 결과는 어떤 모델도 모든 번역 방향에서 보편적으로 신뢰할 수 없음을 보여준다. 단순한 QE 앙상블은 강력한 모델 신호를 희석시키는 반면, 문서화된 대상 언어 적용 범위는 더 높은 QE 점수와 강한 연관성을 보인다. 전반적으로, 이러한 발견은 다국어 병렬 데이터 평가가 방향 인식 라우팅 및 보정 문제로 접근하는 것이 가장 바람직하며, 하나의 보편적 지표가 모든 언어에 충분할 것으로 기대되지 않음을 시사한다.

English

Large-scale multilingual bitext often contains two distinct problems: non-parallel sentence pairs and low-quality translations. We decompose model-based assessment for such data into two independent components: parallelism assessment with multilingual embeddings and reference-free quality estimation (QE). For parallelism, we benchmark four embedding models on FLORES-200 and BOUQuET retrieval tasks, covering 6,654 source--target directions in our target language-pair inventory. For QE, we evaluate nine reference-free evaluators on professional FLORES-200 translations across 41,412 ordered source--target directions. Results show that no model is universally reliable across translation directions. Naive QE ensembles dilute strong model signals, while documented target-language coverage is strongly associated with higher QE scores. Overall, these findings suggest that multilingual parallel-data assessment is best approached as a direction-aware routing and calibration problem, where no single universal metric is expected to suffice across all languages.