Deliberar y luego Generar: Marco de Prompting Mejorado para la Generación de Texto
Deliberate then Generate: Enhanced Prompting Framework for Text Generation
May 31, 2023
Autores: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul Menezes, Tong Xiao, Jiang Bian, JingBo Zhu
cs.AI
Resumen
Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado un éxito notable en una amplia gama de tareas de generación de lenguaje natural, donde los diseños adecuados de prompts tienen un gran impacto. Si bien los métodos de prompting existentes normalmente se limitan a proporcionar información correcta, en este artículo, incentivamos al modelo a deliberar proponiendo un nuevo marco de trabajo llamado Deliberate then Generate (DTG), que consiste en instrucciones de detección de errores y candidatos que pueden contener errores. DTG es una técnica simple pero efectiva que puede aplicarse a diversas tareas de generación de texto con modificaciones mínimas. Realizamos experimentos exhaustivos en más de 20 conjuntos de datos que abarcan 7 tareas de generación de texto, incluyendo resumen, traducción, diálogo y más. Demostramos que DTG supera consistentemente los métodos de prompting existentes y alcanza un rendimiento de vanguardia en múltiples tareas de generación de texto. También proporcionamos análisis en profundidad para revelar los mecanismos subyacentes de DTG, lo que podría inspirar futuras investigaciones sobre prompting para LLMs.
English
Large language models (LLMs) have shown remarkable success across a wide
range of natural language generation tasks, where proper prompt designs make
great impacts. While existing prompting methods are normally restricted to
providing correct information, in this paper, we encourage the model to
deliberate by proposing a novel Deliberate then Generate (DTG) prompting
framework, which consists of error detection instructions and candidates that
may contain errors. DTG is a simple yet effective technique that can be applied
to various text generation tasks with minimal modifications. We conduct
extensive experiments on 20+ datasets across 7 text generation tasks, including
summarization, translation, dialogue, and more. We show that DTG consistently
outperforms existing prompting methods and achieves state-of-the-art
performance on multiple text generation tasks. We also provide in-depth
analyses to reveal the underlying mechanisms of DTG, which may inspire future
research on prompting for LLMs.