O Diabo Está nos Erros: Aproveitando Modelos de Linguagem de Grande Escala para Avaliação Fina de Tradução Automática
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation
August 14, 2023
Autores: Patrick Fernandes, Daniel Deutsch, Mara Finkelstein, Parker Riley, André F. T. Martins, Graham Neubig, Ankush Garg, Jonathan H. Clark, Markus Freitag, Orhan Firat
cs.AI
Resumo
A avaliação automática de tradução automática (TA) é uma ferramenta crucial que impulsiona o desenvolvimento iterativo rápido de sistemas de TA. Embora tenham sido feitos progressos consideráveis na estimativa de uma única pontuação escalar de qualidade, as métricas atuais carecem da informatividade de esquemas mais detalhados que anotam erros individuais, como as Métricas de Qualidade Multidimensional (MQM, na sigla em inglês). Neste artigo, ajudamos a preencher essa lacuna propondo o AutoMQM, uma técnica de *prompting* que aproveita as capacidades de raciocínio e aprendizado em contexto de modelos de linguagem de grande escala (LLMs, na sigla em inglês) e os solicita a identificar e categorizar erros em traduções. Começamos avaliando LLMs recentes, como PaLM e PaLM-2, por meio de *prompts* simples para previsão de pontuação, e estudamos o impacto de dados rotulados por meio de aprendizado em contexto e ajuste fino (*finetuning*). Em seguida, avaliamos o AutoMQM com modelos PaLM-2 e descobrimos que ele melhora o desempenho em comparação com a simples solicitação de pontuações (com ganhos particularmente grandes para modelos maiores), ao mesmo tempo que fornece interpretabilidade por meio de *spans* de erros que se alinham com anotações humanas.
English
Automatic evaluation of machine translation (MT) is a critical tool driving
the rapid iterative development of MT systems. While considerable progress has
been made on estimating a single scalar quality score, current metrics lack the
informativeness of more detailed schemes that annotate individual errors, such
as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap
by proposing AutoMQM, a prompting technique which leverages the reasoning and
in-context learning capabilities of large language models (LLMs) and asks them
to identify and categorize errors in translations. We start by evaluating
recent LLMs, such as PaLM and PaLM-2, through simple score prediction
prompting, and we study the impact of labeled data through in-context learning
and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that
it improves performance compared to just prompting for scores (with
particularly large gains for larger models) while providing interpretability
through error spans that align with human annotations.