Stima della Qualità della Traduzione con Early-Exit e Confidenza Istantanea

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

Autori: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

Abstract

La stima della qualità è onnipresente nella traduzione automatica, sia per la valutazione che per la generazione. Purtroppo, i modelli di stima della qualità sono spesso opachi e computazionalmente costosi, rendendoli impraticabili per essere integrati in pipeline su larga scala. In questo lavoro, affrontiamo due sfide connesse: (1) ridurre il costo della stima della qualità su larga scala e (2) sviluppare un metodo economico per la stima dell'incertezza nella valutazione della qualità. Per affrontare quest'ultima, introduciamo Instant Confidence COMET, un modello di stima della qualità consapevole dell'incertezza che eguaglia le prestazioni degli approcci precedenti a una frazione del loro costo. Estendiamo questo a Early-Exit COMET, un modello di stima della qualità che può calcolare i punteggi di qualità e le relative confidenze già nei primi strati del modello, consentendoci di uscire precocemente dai calcoli e ridurre i costi di valutazione. Applichiamo inoltre il nostro modello al reranking della traduzione automatica. Combiniamo Early-Exit COMET con un algoritmo bandit basato sull'upper confidence bound per trovare il miglior candidato da un ampio pool senza dover eseguire il modello di valutazione completo su tutti i candidati. In entrambi i casi (valutazione e reranking), i nostri metodi riducono il calcolo richiesto del 50% con un degrado minimo delle prestazioni.

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.