早期終了と即時信頼度推定による翻訳品質評価

Early-Exit and Instant Confidence Translation Quality Estimation

February 20, 2025

著者: Vilém Zouhar, Maike Züfle, Beni Egressy, Julius Cheng, Jan Niehues

cs.AI

要旨

品質推定は、機械翻訳において評価と生成の両方で広く用いられています。しかし、品質推定モデルはしばしば不透明で計算コストが高く、大規模なパイプラインの一部として実用的ではありません。本研究では、2つの関連する課題に取り組みます：(1)大規模な品質推定のコスト削減、(2)品質推定のための低コストな不確実性推定手法の開発。後者に対処するため、我々はInstant Confidence COMETを提案します。これは不確実性を考慮した品質推定モデルであり、従来手法と同等の性能をはるかに低いコストで実現します。さらにこれを拡張し、Early-Exit COMETを開発しました。この品質推定モデルは、初期のモデル層で品質スコアと関連する信頼度を計算できるため、計算を早期終了させ、評価コストを削減できます。また、本モデルを機械翻訳の再ランキングに適用しました。Early-Exit COMETを上側信頼区間バンディットアルゴリズムと組み合わせることで、全ての候補に対して完全な評価モデルを実行することなく、大規模な候補プールから最良の候補を見つけます。評価と再ランキングの両ケースにおいて、我々の手法は必要な計算量を50%削減しつつ、性能の低下をほとんど抑えています。

English

Quality estimation is omnipresent in machine translation, for both evaluation and generation. Unfortunately, quality estimation models are often opaque and computationally expensive, making them impractical to be part of large-scale pipelines. In this work, we tackle two connected challenges: (1) reducing the cost of quality estimation at scale, and (2) developing an inexpensive uncertainty estimation method for quality estimation. To address the latter, we introduce Instant Confidence COMET, an uncertainty-aware quality estimation model that matches the performance of previous approaches at a fraction of their costs. We extend this to Early-Exit COMET, a quality estimation model that can compute quality scores and associated confidences already at early model layers, allowing us to early-exit computations and reduce evaluation costs. We also apply our model to machine translation reranking. We combine Early-Exit COMET with an upper confidence bound bandit algorithm to find the best candidate from a large pool without having to run the full evaluation model on all candidates. In both cases (evaluation and reranking) our methods reduce the required compute by 50% with very little degradation in performance.