Дьявол кроется в ошибках: использование больших языковых моделей для детальной оценки машинного перевода
The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation
August 14, 2023
Авторы: Patrick Fernandes, Daniel Deutsch, Mara Finkelstein, Parker Riley, André F. T. Martins, Graham Neubig, Ankush Garg, Jonathan H. Clark, Markus Freitag, Orhan Firat
cs.AI
Аннотация
Автоматическая оценка машинного перевода (МП) является важным инструментом, способствующим быстрому итеративному развитию систем МП. Несмотря на значительный прогресс в оценке единого скалярного показателя качества, современные метрики уступают по информативности более детализированным схемам, которые аннотируют отдельные ошибки, таким как Многомерные метрики качества (MQM). В данной статье мы стремимся заполнить этот пробел, предлагая AutoMQM — метод подсказок, который использует способности крупных языковых моделей (LLM) к рассуждению и обучению в контексте, чтобы идентифицировать и классифицировать ошибки в переводах. Мы начинаем с оценки современных LLM, таких как PaLM и PaLM-2, с помощью простых подсказок для предсказания оценок, и изучаем влияние размеченных данных через обучение в контексте и тонкую настройку. Затем мы оцениваем AutoMQM с моделями PaLM-2 и обнаруживаем, что этот метод улучшает производительность по сравнению с простым запросом оценок (с особенно значительным приростом для более крупных моделей), одновременно обеспечивая интерпретируемость через выделение ошибок, которые соответствуют человеческим аннотациям.
English
Automatic evaluation of machine translation (MT) is a critical tool driving
the rapid iterative development of MT systems. While considerable progress has
been made on estimating a single scalar quality score, current metrics lack the
informativeness of more detailed schemes that annotate individual errors, such
as Multidimensional Quality Metrics (MQM). In this paper, we help fill this gap
by proposing AutoMQM, a prompting technique which leverages the reasoning and
in-context learning capabilities of large language models (LLMs) and asks them
to identify and categorize errors in translations. We start by evaluating
recent LLMs, such as PaLM and PaLM-2, through simple score prediction
prompting, and we study the impact of labeled data through in-context learning
and finetuning. We then evaluate AutoMQM with PaLM-2 models, and we find that
it improves performance compared to just prompting for scores (with
particularly large gains for larger models) while providing interpretability
through error spans that align with human annotations.