Deliberar e depois Gerar: Um Framework Aprimorado de Prompting para Geração de Texto

Deliberate then Generate: Enhanced Prompting Framework for Text Generation

May 31, 2023

Autores: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul Menezes, Tong Xiao, Jiang Bian, JingBo Zhu

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado sucesso notável em uma ampla gama de tarefas de geração de linguagem natural, onde projetos adequados de prompts têm um grande impacto. Embora os métodos de prompting existentes normalmente se restrinjam a fornecer informações corretas, neste artigo, incentivamos o modelo a deliberar propondo uma nova estrutura de prompting chamada Deliberar e depois Gerar (DTG), que consiste em instruções de detecção de erros e candidatos que podem conter erros. O DTG é uma técnica simples, porém eficaz, que pode ser aplicada a várias tarefas de geração de texto com modificações mínimas. Realizamos extensos experimentos em mais de 20 conjuntos de dados abrangendo 7 tarefas de geração de texto, incluindo sumarização, tradução, diálogo e mais. Demonstramos que o DTG supera consistentemente os métodos de prompting existentes e alcança desempenho de ponta em múltiplas tarefas de geração de texto. Também fornecemos análises detalhadas para revelar os mecanismos subjacentes do DTG, o que pode inspirar pesquisas futuras sobre prompting para LLMs.

English

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.