Bedenk dan Genereer: Verbeterd Prompting Framework voor Tekstgeneratie
Deliberate then Generate: Enhanced Prompting Framework for Text Generation
May 31, 2023
Auteurs: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul Menezes, Tong Xiao, Jiang Bian, JingBo Zhu
cs.AI
Samenvatting
Grote taalmmodellen (LLMs) hebben opmerkelijke successen geboekt bij een breed scala aan taken op het gebied van natuurlijke taalgeneratie, waarbij een goede ontwerp van prompts een grote impact heeft. Hoewel bestaande promptingmethoden normaal gesproken beperkt zijn tot het verstrekken van correcte informatie, moedigen we in dit artikel het model aan om te delibereren door een nieuw Deliberate then Generate (DTG) promptingframework voor te stellen, dat bestaat uit foutdetectie-instructies en kandidaten die fouten kunnen bevatten. DTG is een eenvoudige maar effectieve techniek die met minimale aanpassingen kan worden toegepast op verschillende tekstgeneratietaken. We voeren uitgebreide experimenten uit op meer dan 20 datasets voor 7 tekstgeneratietaken, waaronder samenvatting, vertaling, dialoog en meer. We laten zien dat DTG consistent beter presteert dan bestaande promptingmethoden en state-of-the-art prestaties behaalt bij meerdere tekstgeneratietaken. We bieden ook diepgaande analyses om de onderliggende mechanismen van DTG te onthullen, wat toekomstig onderzoek naar prompting voor LLMs kan inspireren.
English
Large language models (LLMs) have shown remarkable success across a wide
range of natural language generation tasks, where proper prompt designs make
great impacts. While existing prompting methods are normally restricted to
providing correct information, in this paper, we encourage the model to
deliberate by proposing a novel Deliberate then Generate (DTG) prompting
framework, which consists of error detection instructions and candidates that
may contain errors. DTG is a simple yet effective technique that can be applied
to various text generation tasks with minimal modifications. We conduct
extensive experiments on 20+ datasets across 7 text generation tasks, including
summarization, translation, dialogue, and more. We show that DTG consistently
outperforms existing prompting methods and achieves state-of-the-art
performance on multiple text generation tasks. We also provide in-depth
analyses to reveal the underlying mechanisms of DTG, which may inspire future
research on prompting for LLMs.