De Duivel zit in de Fouten: Het Benutten van Grote Taalmodellen voor Fijnmazige Evaluatie van Machinevertaling

Samenvatting

Automatische evaluatie van machinaal vertalen (MT) is een cruciaal hulpmiddel dat de snelle iteratieve ontwikkeling van MT-systemen aanstuurt. Hoewel aanzienlijke vooruitgang is geboekt bij het schatten van een enkele scalaire kwaliteitsscore, missen huidige metrieken de informatiewaarde van meer gedetailleerde schema's die individuele fouten annoteren, zoals Multidimensional Quality Metrics (MQM). In dit artikel helpen we deze kloof te dichten door AutoMQM voor te stellen, een prompttechniek die gebruikmaakt van de redeneer- en in-context-leermogelijkheden van grote taalmodelen (LLM's) en hen vraagt om fouten in vertalingen te identificeren en te categoriseren. We beginnen met het evalueren van recente LLM's, zoals PaLM en PaLM-2, via eenvoudige prompttechnieken voor scorevoorspelling, en we bestuderen de impact van gelabelde gegevens via in-context leren en finetuning. Vervolgens evalueren we AutoMQM met PaLM-2-modellen, en we ontdekken dat het de prestaties verbetert in vergelijking met alleen het vragen om scores (met name grote verbeteringen voor grotere modellen) terwijl het interpreteerbaarheid biedt door middel van foutspans die overeenkomen met menselijke annotaties.

English

Automatic evaluation of machine translation (MT) is a critical tool driving the rapid iterative development of MT systems. While considerable progress has been made on estimating a single scalar quality score, current metrics lack the informativeness of more detailed schemes that annotate individual errors, such as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap by proposing AutoMQM, a prompting technique which leverages the reasoning and in-context learning capabilities of large language models (LLMs) and asks them to identify and categorize errors in translations. We start by evaluating recent LLMs, such as PaLM and PaLM-2, through simple score prediction prompting, and we study the impact of labeled data through in-context learning and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that it improves performance compared to just prompting for scores (with particularly large gains for larger models) while providing interpretability through error spans that align with human annotations.

De Duivel zit in de Fouten: Het Benutten van Grote Taalmodellen voor Fijnmazige Evaluatie van Machinevertaling

The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation

Samenvatting

Support