Deliberare poi Generare: Un Framework di Prompting Avanzato per la Generazione di Testo

Deliberate then Generate: Enhanced Prompting Framework for Text Generation

May 31, 2023

Autori: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul Menezes, Tong Xiao, Jiang Bian, JingBo Zhu

cs.AI

Abstract

I grandi modelli linguistici (LLM) hanno dimostrato un successo straordinario in un'ampia gamma di compiti di generazione del linguaggio naturale, dove un corretto design dei prompt ha un impatto significativo. Mentre i metodi di prompting esistenti sono normalmente limitati a fornire informazioni corrette, in questo articolo incoraggiamo il modello a riflettere proponendo un nuovo framework di prompting chiamato Deliberate then Generate (DTG), che consiste in istruzioni di rilevamento degli errori e candidati che possono contenere errori. DTG è una tecnica semplice ma efficace che può essere applicata a vari compiti di generazione di testo con modifiche minime. Abbiamo condotto esperimenti estesi su oltre 20 dataset relativi a 7 compiti di generazione di testo, tra cui riassunto, traduzione, dialogo e altro. Dimostriamo che DTG supera costantemente i metodi di prompting esistenti e raggiunge prestazioni all'avanguardia in molteplici compiti di generazione di testo. Forniamo inoltre analisi approfondite per rivelare i meccanismi sottostanti di DTG, che potrebbero ispirare future ricerche sul prompting per i LLM.

English

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.