GPT는 덜 직역적인 번역을 생성하는가?

초록

GPT-3와 같은 대형 언어 모델(LLMs)은 다양한 자연어 생성 또는 이해 작업을 처리할 수 있는 범용 언어 모델로 부상했습니다. 기계 번역(MT) 작업에 대해, 여러 연구에서는 LLMs로부터 더 나은 번역을 이끌어내기 위한 소수 샷 프롬프팅 메커니즘을 탐구해 왔습니다. 그러나 이러한 번역이 표준 신경망 기계 번역(NMT) 모델에서 생성된 번역과 질적으로 어떻게 다른지에 대한 연구는 상대적으로 적었습니다. 본 연구에서는 두 시스템이 생성한 번역의 직역적 특성 측면에서 이러한 차이를 조사합니다. 단어 정렬 및 단조성과 관련된 직역성 측정을 사용하여, GPT 모델의 영어에서 다른 언어로의 번역(E-X)이 덜 직역적인 경향이 있으면서도 MT 품질 지표에서는 유사하거나 더 나은 점수를 보인다는 것을 발견했습니다. 이러한 결과가 인간 평가에서도 확인된다는 것을 보여줍니다. 또한, 관용 표현이 포함된 문장을 번역할 때 이러한 차이가 특히 두드러진다는 것을 보여줍니다.

English

Large Language Models (LLMs) such as GPT-3 have emerged as general-purpose language models capable of addressing many natural language generation or understanding tasks. On the task of Machine Translation (MT), multiple works have investigated few-shot prompting mechanisms to elicit better translations from LLMs. However, there has been relatively little investigation on how such translations differ qualitatively from the translations generated by standard Neural Machine Translation (NMT) models. In this work, we investigate these differences in terms of the literalness of translations produced by the two systems. Using literalness measures involving word alignment and monotonicity, we find that translations out of English (E-X) from GPTs tend to be less literal, while exhibiting similar or better scores on MT quality metrics. We demonstrate that this finding is borne out in human evaluations as well. We then show that these differences are especially pronounced when translating sentences that contain idiomatic expressions.

GPT는 덜 직역적인 번역을 생성하는가?

Do GPTs Produce Less Literal Translations?

초록

Support