Planen und Generieren: Ein erweitertes Prompting-Framework für die Textgenerierung
Deliberate then Generate: Enhanced Prompting Framework for Text Generation
May 31, 2023
Autoren: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul Menezes, Tong Xiao, Jiang Bian, JingBo Zhu
cs.AI
Zusammenfassung
Große Sprachmodelle (LLMs) haben bemerkenswerte Erfolge in einer Vielzahl von Aufgaben zur natürlichen Sprachgenerierung gezeigt, bei denen die richtige Gestaltung von Prompts einen erheblichen Einfluss hat. Während bestehende Prompting-Methoden normalerweise darauf beschränkt sind, korrekte Informationen bereitzustellen, ermutigen wir in diesem Artikel das Modell zur Reflexion, indem wir ein neuartiges Deliberate then Generate (DTG)-Prompting-Framework vorschlagen, das aus Fehlererkennungsanweisungen und Kandidaten besteht, die Fehler enthalten können. DTG ist eine einfache, aber effektive Technik, die mit minimalen Anpassungen auf verschiedene Textgenerierungsaufgaben angewendet werden kann. Wir führen umfangreiche Experimente auf mehr als 20 Datensätzen über 7 Textgenerierungsaufgaben durch, darunter Zusammenfassung, Übersetzung, Dialog und mehr. Wir zeigen, dass DTG bestehende Prompting-Methoden konsequent übertrifft und Spitzenleistungen in mehreren Textgenerierungsaufgaben erzielt. Wir bieten auch detaillierte Analysen, um die zugrunde liegenden Mechanismen von DTG aufzudecken, die zukünftige Forschungen zum Prompting für LLMs inspirieren könnten.
English
Large language models (LLMs) have shown remarkable success across a wide
range of natural language generation tasks, where proper prompt designs make
great impacts. While existing prompting methods are normally restricted to
providing correct information, in this paper, we encourage the model to
deliberate by proposing a novel Deliberate then Generate (DTG) prompting
framework, which consists of error detection instructions and candidates that
may contain errors. DTG is a simple yet effective technique that can be applied
to various text generation tasks with minimal modifications. We conduct
extensive experiments on 20+ datasets across 7 text generation tasks, including
summarization, translation, dialogue, and more. We show that DTG consistently
outperforms existing prompting methods and achieves state-of-the-art
performance on multiple text generation tasks. We also provide in-depth
analyses to reveal the underlying mechanisms of DTG, which may inspire future
research on prompting for LLMs.