Estimativa de Qualidade de Tradução com Saída Antecipada e Confiança Instantânea

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

Autores: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

Resumo

A estimativa de qualidade é onipresente na tradução automática, tanto para avaliação quanto para geração. Infelizmente, os modelos de estimativa de qualidade costumam ser opacos e computacionalmente caros, tornando-os impraticáveis para serem parte de pipelines em larga escala. Neste trabalho, abordamos dois desafios interconectados: (1) reduzir o custo da estimativa de qualidade em escala e (2) desenvolver um método de estimativa de incerteza de baixo custo para estimativa de qualidade. Para abordar o último, introduzimos o Instant Confidence COMET, um modelo de estimativa de qualidade com consciência de incerteza que iguala o desempenho de abordagens anteriores a uma fração de seus custos. Estendemos isso para o Early-Exit COMET, um modelo de estimativa de qualidade que pode calcular pontuações de qualidade e confianças associadas já nas primeiras camadas do modelo, permitindo-nos interromper precocemente os cálculos e reduzir os custos de avaliação. Também aplicamos nosso modelo ao reranking de tradução automática. Combinamos o Early-Exit COMET com um algoritmo bandit de limite superior de confiança para encontrar o melhor candidato de um grande conjunto sem precisar executar o modelo de avaliação completo em todos os candidatos. Em ambos os casos (avaliação e reranking), nossos métodos reduzem a computação necessária em 50% com muito pouca degradação no desempenho.

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.