Frühzeitiger Abbruch und Sofortige Vertrauensschätzung der Übersetzungsqualität

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

Autoren: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

Zusammenfassung

Die Qualitätsabschätzung ist allgegenwärtig in der maschinellen Übersetzung, sowohl für die Bewertung als auch die Generierung. Leider sind Qualitätsabschätzungsmodelle oft undurchsichtig und rechenintensiv, was sie unpraktisch für den Einsatz in groß angelegten Pipelines macht. In dieser Arbeit behandeln wir zwei verbundene Herausforderungen: (1) die Reduzierung der Kosten für die Qualitätsabschätzung im großen Maßstab und (2) die Entwicklung einer kostengünstigen Methode zur Unsicherheitsabschätzung für die Qualitätsabschätzung. Um letzteres anzugehen, stellen wir Instant Confidence COMET vor, ein Unsicherheits-bewusstes Qualitätsabschätzungsmodell, das die Leistung früherer Ansätze zu einem Bruchteil ihrer Kosten erreicht. Wir erweitern dies zu Early-Exit COMET, einem Qualitätsabschätzungsmodell, das Qualitätsbewertungen und zugehörige Vertrauenswerte bereits in frühen Modellschichten berechnen kann, was es uns ermöglicht, Berechnungen frühzeitig zu beenden und die Evaluationskosten zu senken. Wir wenden unser Modell auch auf das Neuordnen der maschinellen Übersetzung an. Wir kombinieren Early-Exit COMET mit einem Upper Confidence Bound Bandit-Algorithmus, um den besten Kandidaten aus einem großen Pool zu finden, ohne das vollständige Evaluationsmodell für alle Kandidaten ausführen zu müssen. In beiden Fällen (Bewertung und Neuordnung) reduzieren unsere Methoden die erforderliche Rechenleistung um 50 % bei nur geringfügiger Leistungseinbuße.

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.