¿Los GPT producen traducciones menos literales?

Do GPTs Produce Less Literal Translations?

May 26, 2023

Autores: Vikas Raunak, Arul Menezes, Matt Post, Hany Hassan Awadallah

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), como GPT-3, han surgido como modelos de lenguaje de propósito general capaces de abordar numerosas tareas de generación o comprensión del lenguaje natural. En la tarea de Traducción Automática (MT, por sus siglas en inglés), múltiples trabajos han explorado mecanismos de indicación de pocos ejemplos (few-shot prompting) para obtener mejores traducciones de los LLMs. Sin embargo, se ha investigado relativamente poco sobre cómo estas traducciones difieren cualitativamente de las generadas por los modelos estándar de Traducción Automática Neuronal (NMT, por sus siglas en inglés). En este trabajo, investigamos estas diferencias en términos de la literalidad de las traducciones producidas por ambos sistemas. Utilizando medidas de literalidad que involucran alineación de palabras y monotonicidad, encontramos que las traducciones del inglés a otros idiomas (E-X) generadas por los GPT tienden a ser menos literales, mientras que muestran puntuaciones similares o mejores en métricas de calidad de MT. Demostramos que este hallazgo también se confirma en evaluaciones humanas. Luego, mostramos que estas diferencias son especialmente pronunciadas al traducir oraciones que contienen expresiones idiomáticas.

English

Large Language Models (LLMs) such as GPT-3 have emerged as general-purpose language models capable of addressing many natural language generation or understanding tasks. On the task of Machine Translation (MT), multiple works have investigated few-shot prompting mechanisms to elicit better translations from LLMs. However, there has been relatively little investigation on how such translations differ qualitatively from the translations generated by standard Neural Machine Translation (NMT) models. In this work, we investigate these differences in terms of the literalness of translations produced by the two systems. Using literalness measures involving word alignment and monotonicity, we find that translations out of English (E-X) from GPTs tend to be less literal, while exhibiting similar or better scores on MT quality metrics. We demonstrate that this finding is borne out in human evaluations as well. We then show that these differences are especially pronounced when translating sentences that contain idiomatic expressions.