Desglosando el Aprendizaje en Contexto de Traducciones en GPTs

Dissecting In-Context Learning of Translations in GPTs

October 24, 2023

Autores: Vikas Raunak, Hany Hassan Awadalla, Arul Menezes

cs.AI

Resumen

La mayoría de los trabajos recientes que aprovechan los Modelos de Lenguaje a Gran Escala (LLMs), como GPT-3, para la Traducción Automática (MT) se han centrado en la selección de ejemplos few-shot para el prompting. En este trabajo, intentamos comprender mejor el papel de los atributos de las demostraciones en el aprendizaje en contexto de traducciones mediante perturbaciones de demostraciones de alta calidad y dentro del dominio. Descubrimos que las perturbaciones asimétricas de las correspondencias fuente-objetivo producen resultados muy diferentes. Mostramos que la perturbación del lado fuente tiene un impacto sorprendentemente pequeño, mientras que la perturbación del lado objetivo puede reducir drásticamente la calidad de la traducción, lo que sugiere que es la distribución del texto de salida la que proporciona la señal de aprendizaje más importante durante el aprendizaje en contexto de traducciones. Proponemos un método llamado Zero-Shot-Context para añadir automáticamente esta señal en el prompting zero-shot. Demostramos que mejora el rendimiento de traducción zero-shot de GPT-3, incluso haciéndolo competitivo con las traducciones obtenidas mediante prompting few-shot.

English

Most of the recent work in leveraging Large Language Models (LLMs) such as GPT-3 for Machine Translation (MT) has focused on selecting the few-shot samples for prompting. In this work, we try to better understand the role of demonstration attributes for the in-context learning of translations through perturbations of high-quality, in-domain demonstrations. We find that asymmetric perturbation of the source-target mappings yield vastly different results. We show that the perturbation of the source side has surprisingly little impact, while target perturbation can drastically reduce translation quality, suggesting that it is the output text distribution that provides the most important learning signal during in-context learning of translations. We propose a method named Zero-Shot-Context to add this signal automatically in Zero-Shot prompting. We demonstrate that it improves upon the zero-shot translation performance of GPT-3, even making it competitive with few-shot prompted translations.