Il diavolo è nei dettagli: sfruttare i modelli linguistici di grandi dimensioni per una valutazione fine-grana della traduzione automatica
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation
August 14, 2023
Autori: Patrick Fernandes, Daniel Deutsch, Mara Finkelstein, Parker Riley, André F. T. Martins, Graham Neubig, Ankush Garg, Jonathan H. Clark, Markus Freitag, Orhan Firat
cs.AI
Abstract
La valutazione automatica della traduzione automatica (MT) è uno strumento cruciale che guida lo sviluppo iterativo rapido dei sistemi di MT. Sebbene siano stati compiuti notevoli progressi nella stima di un singolo punteggio scalare di qualità, le metriche attuali mancano dell'informatività di schemi più dettagliati che annotano errori individuali, come le Metriche di Qualità Multidimensionali (MQM). In questo articolo, contribuiamo a colmare questa lacuna proponendo AutoMQM, una tecnica di prompting che sfrutta le capacità di ragionamento e apprendimento in contesto dei modelli linguistici di grandi dimensioni (LLM) e chiede loro di identificare e categorizzare gli errori nelle traduzioni. Iniziamo valutando i recenti LLM, come PaLM e PaLM-2, attraverso un semplice prompting per la previsione dei punteggi, e studiamo l'impatto dei dati etichettati attraverso l'apprendimento in contesto e il fine-tuning. Successivamente, valutiamo AutoMQM con i modelli PaLM-2 e scopriamo che migliora le prestazioni rispetto al semplice prompting per i punteggi (con guadagni particolarmente significativi per i modelli più grandi) fornendo al contempo interpretabilità attraverso segmenti di errore che si allineano con le annotazioni umane.
English
Automatic evaluation of machine translation (MT) is a critical tool driving
the rapid iterative development of MT systems. While considerable progress has
been made on estimating a single scalar quality score, current metrics lack the
informativeness of more detailed schemes that annotate individual errors, such
as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap
by proposing AutoMQM, a prompting technique which leverages the reasoning and
in-context learning capabilities of large language models (LLMs) and asks them
to identify and categorize errors in translations. We start by evaluating
recent LLMs, such as PaLM and PaLM-2, through simple score prediction
prompting, and we study the impact of labeled data through in-context learning
and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that
it improves performance compared to just prompting for scores (with
particularly large gains for larger models) while providing interpretability
through error spans that align with human annotations.