Analyse des In-Context-Lernens von Übersetzungen in GPTs

Dissecting In-Context Learning of Translations in GPTs

October 24, 2023

Autoren: Vikas Raunak, Hany Hassan Awadalla, Arul Menezes

cs.AI

Zusammenfassung

Der Großteil der jüngsten Arbeiten zur Nutzung von Large Language Models (LLMs) wie GPT-3 für maschinelle Übersetzung (MT) konzentrierte sich auf die Auswahl von Few-Shot-Beispielen für das Prompting. In dieser Arbeit versuchen wir, die Rolle von Demonstrationsattributen für das In-Context-Lernen von Übersetzungen besser zu verstehen, indem wir hochwertige, domänenspezifische Demonstrationen gezielt verändern. Wir stellen fest, dass asymmetrische Veränderungen der Quell-Ziel-Zuordnungen zu deutlich unterschiedlichen Ergebnissen führen. Wir zeigen, dass die Veränderung der Quellseite überraschend wenig Auswirkungen hat, während die Veränderung der Zielseite die Übersetzungsqualität drastisch reduzieren kann. Dies deutet darauf hin, dass die Verteilung des Ausgabetextes das wichtigste Lernsignal während des In-Context-Lernens von Übersetzungen liefert. Wir schlagen eine Methode namens Zero-Shot-Context vor, um dieses Signal automatisch in Zero-Shot-Prompting einzubinden. Wir demonstrieren, dass sie die Zero-Shot-Übersetzungsleistung von GPT-3 verbessert und sie sogar mit Few-Shot-Prompting-Übersetzungen konkurrenzfähig macht.

English

Most of the recent work in leveraging Large Language Models (LLMs) such as GPT-3 for Machine Translation (MT) has focused on selecting the few-shot samples for prompting. In this work, we try to better understand the role of demonstration attributes for the in-context learning of translations through perturbations of high-quality, in-domain demonstrations. We find that asymmetric perturbation of the source-target mappings yield vastly different results. We show that the perturbation of the source side has surprisingly little impact, while target perturbation can drastically reduce translation quality, suggesting that it is the output text distribution that provides the most important learning signal during in-context learning of translations. We propose a method named Zero-Shot-Context to add this signal automatically in Zero-Shot prompting. We demonstrate that it improves upon the zero-shot translation performance of GPT-3, even making it competitive with few-shot prompted translations.