Der Teufel steckt im Detail: Nutzung großer Sprachmodelle für die feingranulare Bewertung von maschineller Übersetzung

The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation

August 14, 2023

Autoren: Patrick Fernandes, Daniel Deutsch, Mara Finkelstein, Parker Riley, André F. T. Martins, Graham Neubig, Ankush Garg, Jonathan H. Clark, Markus Freitag, Orhan Firat

cs.AI

Zusammenfassung

Die automatische Bewertung von maschineller Übersetzung (MT) ist ein entscheidendes Werkzeug, das die rasche iterative Entwicklung von MT-Systemen vorantreibt. Während erhebliche Fortschritte bei der Schätzung eines einzelnen skalaren Qualitätswerts erzielt wurden, mangelt es aktuellen Metriken an der Informativität detaillierterer Schemata, die individuelle Fehler annotieren, wie beispielsweise Multidimensional Quality Metrics (MQM). In diesem Beitrag schließen wir diese Lücke, indem wir AutoMQM vorschlagen, eine Prompting-Technik, die die Fähigkeiten großer Sprachmodelle (LLMs) zum logischen Schlussfolgern und In-Context-Lernen nutzt und sie auffordert, Fehler in Übersetzungen zu identifizieren und zu kategorisieren. Wir beginnen mit der Bewertung aktueller LLMs wie PaLM und PaLM-2 durch einfache Prompting-Techniken zur Vorhersage von Bewertungen und untersuchen den Einfluss von annotierten Daten durch In-Context-Lernen und Feinabstimmung. Anschließend evaluieren wir AutoMQM mit PaLM-2-Modellen und stellen fest, dass es die Leistung im Vergleich zur reinen Bewertungsvorhersage verbessert (mit besonders großen Gewinnen bei größeren Modellen), während es gleichzeitig Interpretierbarkeit durch Fehler-Spans bietet, die mit menschlichen Annotationen übereinstimmen.

English

Automatic evaluation of machine translation (MT) is a critical tool driving the rapid iterative development of MT systems. While considerable progress has been made on estimating a single scalar quality score, current metrics lack the informativeness of more detailed schemes that annotate individual errors, such as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap by proposing AutoMQM, a prompting technique which leverages the reasoning and in-context learning capabilities of large language models (LLMs) and asks them to identify and categorize errors in translations. We start by evaluating recent LLMs, such as PaLM and PaLM-2, through simple score prediction prompting, and we study the impact of labeled data through in-context learning and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that it improves performance compared to just prompting for scores (with particularly large gains for larger models) while providing interpretability through error spans that align with human annotations.