Erzeugen GPTs weniger wörtliche Übersetzungen?
Do GPTs Produce Less Literal Translations?
May 26, 2023
Autoren: Vikas Raunak, Arul Menezes, Matt Post, Hany Hassan Awadallah
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) wie GPT-3 haben sich als universelle Sprachmodelle etabliert, die in der Lage sind, viele Aufgaben der natürlichen Sprachgenerierung oder -verarbeitung zu bewältigen. Im Bereich der maschinellen Übersetzung (MT) haben mehrere Arbeiten Few-Shot-Prompting-Mechanismen untersucht, um bessere Übersetzungen aus LLMs zu erzielen. Es gab jedoch relativ wenig Forschung dazu, wie sich solche Übersetzungen qualitativ von den Übersetzungen unterscheiden, die von standardmäßigen neuronalen maschinellen Übersetzungsmodellen (NMT) erzeugt werden. In dieser Arbeit untersuchen wir diese Unterschiede im Hinblick auf die Wörtlichkeit der Übersetzungen, die von den beiden Systemen produziert werden. Unter Verwendung von Wörtlichkeitsmaßen, die Wortausrichtung und Monotonie beinhalten, stellen wir fest, dass Übersetzungen aus dem Englischen (E-X) von GPTs tendenziell weniger wörtlich sind, während sie ähnliche oder bessere Werte bei den MT-Qualitätsmetriken aufweisen. Wir zeigen, dass dieser Befund auch in menschlichen Bewertungen bestätigt wird. Anschließend demonstrieren wir, dass diese Unterschiede besonders ausgeprägt sind, wenn Sätze mit idiomatischen Ausdrücken übersetzt werden.
English
Large Language Models (LLMs) such as GPT-3 have emerged as general-purpose
language models capable of addressing many natural language generation or
understanding tasks. On the task of Machine Translation (MT), multiple works
have investigated few-shot prompting mechanisms to elicit better translations
from LLMs. However, there has been relatively little investigation on how such
translations differ qualitatively from the translations generated by standard
Neural Machine Translation (NMT) models. In this work, we investigate these
differences in terms of the literalness of translations produced by the two
systems. Using literalness measures involving word alignment and monotonicity,
we find that translations out of English (E-X) from GPTs tend to be less
literal, while exhibiting similar or better scores on MT quality metrics. We
demonstrate that this finding is borne out in human evaluations as well. We
then show that these differences are especially pronounced when translating
sentences that contain idiomatic expressions.