Le diable se cache dans les erreurs : Exploiter les modèles de langage de grande envergure pour une évaluation fine de la traduction automatique
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation
August 14, 2023
Auteurs: Patrick Fernandes, Daniel Deutsch, Mara Finkelstein, Parker Riley, André F. T. Martins, Graham Neubig, Ankush Garg, Jonathan H. Clark, Markus Freitag, Orhan Firat
cs.AI
Résumé
L'évaluation automatique de la traduction automatique (TA) est un outil essentiel qui stimule le développement itératif rapide des systèmes de TA. Bien que des progrès considérables aient été réalisés dans l'estimation d'un score de qualité unique, les métriques actuelles manquent d'informativité par rapport à des schémas plus détaillés qui annotent les erreurs individuelles, tels que les Métriques de Qualité Multidimensionnelles (MQM). Dans cet article, nous contribuons à combler cette lacune en proposant AutoMQM, une technique de prompting qui exploite les capacités de raisonnement et d'apprentissage en contexte des grands modèles de langage (LLM) et leur demande d'identifier et de catégoriser les erreurs dans les traductions. Nous commençons par évaluer les LLM récents, tels que PaLM et PaLM-2, à travers un prompting simple de prédiction de scores, et nous étudions l'impact des données annotées via l'apprentissage en contexte et le fine-tuning. Nous évaluons ensuite AutoMQM avec les modèles PaLM-2, et nous constatons qu'il améliore les performances par rapport au simple prompting pour les scores (avec des gains particulièrement importants pour les modèles plus grands) tout en offrant une interprétabilité grâce à des segments d'erreurs qui correspondent aux annotations humaines.
English
Automatic evaluation of machine translation (MT) is a critical tool driving
the rapid iterative development of MT systems. While considerable progress has
been made on estimating a single scalar quality score, current metrics lack the
informativeness of more detailed schemes that annotate individual errors, such
as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap
by proposing AutoMQM, a prompting technique which leverages the reasoning and
in-context learning capabilities of large language models (LLMs) and asks them
to identify and categorize errors in translations. We start by evaluating
recent LLMs, such as PaLM and PaLM-2, through simple score prediction
prompting, and we study the impact of labeled data through in-context learning
and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that
it improves performance compared to just prompting for scores (with
particularly large gains for larger models) while providing interpretability
through error spans that align with human annotations.