Estimation précoce et instantanée de la confiance dans la qualité de la traduction

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

Auteurs: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

Résumé

L'estimation de la qualité est omniprésente en traduction automatique, tant pour l'évaluation que pour la génération. Malheureusement, les modèles d'estimation de la qualité sont souvent opaques et coûteux en termes de calcul, ce qui les rend peu pratiques pour être intégrés dans des pipelines à grande échelle. Dans ce travail, nous abordons deux défis interconnectés : (1) réduire le coût de l'estimation de la qualité à grande échelle, et (2) développer une méthode peu coûteuse d'estimation de l'incertitude pour l'estimation de la qualité. Pour répondre au second défi, nous introduisons Instant Confidence COMET, un modèle d'estimation de la qualité prenant en compte l'incertitude, qui atteint des performances comparables aux approches précédentes pour une fraction de leur coût. Nous étendons cela à Early-Exit COMET, un modèle d'estimation de la qualité capable de calculer des scores de qualité et les confiances associées dès les premières couches du modèle, nous permettant ainsi de sortir précocement des calculs et de réduire les coûts d'évaluation. Nous appliquons également notre modèle au réordonnancement de la traduction automatique. Nous combinons Early-Exit COMET avec un algorithme de bandit à limite de confiance supérieure pour trouver le meilleur candidat parmi un grand ensemble sans avoir à exécuter le modèle d'évaluation complet sur tous les candidats. Dans les deux cas (évaluation et réordonnancement), nos méthodes réduisent le calcul requis de 50 % avec une très faible dégradation des performances.

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.