Vroegtijdige Afsluiting en Onmiddellijke Betrouwbaarheidsschatting van Vertaalkwaliteit

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

Auteurs: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

Samenvatting

Kwaliteitsschatting is alomtegenwoordig in machinaal vertalen, zowel voor evaluatie als voor generatie. Helaas zijn kwaliteitsschattingmodellen vaak ondoorzichtig en rekenkundig kostbaar, waardoor ze onpraktisch zijn om deel uit te maken van grootschalige pijplijnen. In dit werk pakken we twee gerelateerde uitdagingen aan: (1) het verlagen van de kosten van kwaliteitsschatting op grote schaal, en (2) het ontwikkelen van een kosteneffectieve methode voor onzekerheidsschatting bij kwaliteitsschatting. Om het laatste aan te pakken, introduceren we Instant Confidence COMET, een onzekerheidsbewust kwaliteitsschattingmodel dat de prestaties van eerdere benaderingen evenaart tegen een fractie van de kosten. We breiden dit uit naar Early-Exit COMET, een kwaliteitsschattingmodel dat kwaliteitsscores en bijbehorende betrouwbaarheden al in vroege modellagen kan berekenen, waardoor we berekeningen vroegtijdig kunnen beëindigen en evaluatiekosten kunnen verlagen. We passen ons model ook toe op herrangschikking bij machinaal vertalen. We combineren Early-Exit COMET met een upper confidence bound bandit-algoritme om de beste kandidaat uit een grote pool te vinden zonder het volledige evaluatiemodel op alle kandidaten te hoeven uitvoeren. In beide gevallen (evaluatie en herrangschikking) verminderen onze methoden de benodigde rekenkracht met 50% met zeer weinig prestatieverlies.

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.