Het ontleden van in-context leren van vertalingen in GPT's

Dissecting In-Context Learning of Translations in GPTs

October 24, 2023

Auteurs: Vikas Raunak, Hany Hassan Awadalla, Arul Menezes

cs.AI

Samenvatting

Het meeste recente werk in het benutten van Large Language Models (LLM's) zoals GPT-3 voor Machinevertaling (MT) heeft zich gericht op het selecteren van few-shot voorbeelden voor prompting. In dit werk proberen we de rol van demonstratie-attributen voor in-context leren van vertalingen beter te begrijpen door middel van perturbaties van hoogwaardige, domeinspecifieke demonstraties. We ontdekken dat asymmetrische perturbatie van de bron-doel-mappingen sterk verschillende resultaten oplevert. We tonen aan dat perturbatie van de bronzijde verrassend weinig impact heeft, terwijl perturbatie van de doelzijde de vertaalkwaliteit drastisch kan verminderen, wat suggereert dat het de tekstdistributie van de output is die het belangrijkste leersignaal biedt tijdens in-context leren van vertalingen. We stellen een methode genaamd Zero-Shot-Context voor om dit signaal automatisch toe te voegen bij zero-shot prompting. We demonstreren dat het de zero-shot vertaalprestaties van GPT-3 verbetert, en het zelfs competitief maakt met few-shot gepromptte vertalingen.

English

Most of the recent work in leveraging Large Language Models (LLMs) such as GPT-3 for Machine Translation (MT) has focused on selecting the few-shot samples for prompting. In this work, we try to better understand the role of demonstration attributes for the in-context learning of translations through perturbations of high-quality, in-domain demonstrations. We find that asymmetric perturbation of the source-target mappings yield vastly different results. We show that the perturbation of the source side has surprisingly little impact, while target perturbation can drastically reduce translation quality, suggesting that it is the output text distribution that provides the most important learning signal during in-context learning of translations. We propose a method named Zero-Shot-Context to add this signal automatically in Zero-Shot prompting. We demonstrate that it improves upon the zero-shot translation performance of GPT-3, even making it competitive with few-shot prompted translations.