Estimación de Calidad de Traducción con Salida Temprana y Confianza Instantánea

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

Autores: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

Resumen

La estimación de calidad está omnipresente en la traducción automática, tanto para la evaluación como para la generación. Desafortunadamente, los modelos de estimación de calidad suelen ser opacos y computacionalmente costosos, lo que los hace poco prácticos para formar parte de pipelines a gran escala. En este trabajo, abordamos dos desafíos interconectados: (1) reducir el costo de la estimación de calidad a escala y (2) desarrollar un método económico de estimación de incertidumbre para la estimación de calidad. Para abordar el segundo, presentamos Instant Confidence COMET, un modelo de estimación de calidad consciente de la incertidumbre que iguala el rendimiento de enfoques anteriores a una fracción de su costo. Extendemos esto a Early-Exit COMET, un modelo de estimación de calidad que puede calcular puntuaciones de calidad y confianzas asociadas ya en las primeras capas del modelo, permitiéndonos salir tempranamente de los cálculos y reducir los costos de evaluación. También aplicamos nuestro modelo a la reordenación de traducciones automáticas. Combinamos Early-Exit COMET con un algoritmo de bandas basado en límites superiores de confianza para encontrar el mejor candidato de un gran conjunto sin necesidad de ejecutar el modelo de evaluación completo en todos los candidatos. En ambos casos (evaluación y reordenación), nuestros métodos reducen el cómputo requerido en un 50% con muy poca degradación en el rendimiento.

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.