GPTはより直訳的でない翻訳を生成するか？

要旨

GPT-3のような大規模言語モデル（LLM）は、多くの自然言語生成や理解タスクに対応可能な汎用言語モデルとして登場しました。機械翻訳（MT）のタスクにおいては、複数の研究がLLMからより良い翻訳を引き出すためのfew-shotプロンプティング手法を調査してきました。しかし、そのような翻訳が標準的なニューラル機械翻訳（NMT）モデルによって生成された翻訳と質的にどのように異なるかについては、比較的調査が進んでいません。本研究では、2つのシステムが生成する翻訳の直訳性の観点からこれらの違いを調査します。単語アライメントと単調性を含む直訳性の測定を用いて、GPTモデルによる英語からの翻訳（E-X）は直訳的でない傾向がある一方、MTの品質指標では同等または優れたスコアを示すことを明らかにします。この発見が人間による評価でも裏付けられることを示します。さらに、慣用表現を含む文を翻訳する場合に、これらの違いが特に顕著であることを示します。

English

Large Language Models (LLMs) such as GPT-3 have emerged as general-purpose language models capable of addressing many natural language generation or understanding tasks. On the task of Machine Translation (MT), multiple works have investigated few-shot prompting mechanisms to elicit better translations from LLMs. However, there has been relatively little investigation on how such translations differ qualitatively from the translations generated by standard Neural Machine Translation (NMT) models. In this work, we investigate these differences in terms of the literalness of translations produced by the two systems. Using literalness measures involving word alignment and monotonicity, we find that translations out of English (E-X) from GPTs tend to be less literal, while exhibiting similar or better scores on MT quality metrics. We demonstrate that this finding is borne out in human evaluations as well. We then show that these differences are especially pronounced when translating sentences that contain idiomatic expressions.

GPTはより直訳的でない翻訳を生成するか？

Do GPTs Produce Less Literal Translations?

要旨

Support