Délibérer puis Générer : Un Cadre de Prompting Amélioré pour la Génération de Texte

Deliberate then Generate: Enhanced Prompting Framework for Text Generation

May 31, 2023

Auteurs: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul Menezes, Tong Xiao, Jiang Bian, JingBo Zhu

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré un succès remarquable dans un large éventail de tâches de génération de langage naturel, où la conception appropriée des prompts a un impact significatif. Alors que les méthodes de prompting existantes se limitent généralement à fournir des informations correctes, dans cet article, nous encourageons le modèle à réfléchir en proposant un nouveau cadre de prompting appelé Deliberate then Generate (DTG), qui comprend des instructions de détection d'erreurs et des candidats pouvant contenir des erreurs. DTG est une technique simple mais efficace qui peut être appliquée à diverses tâches de génération de texte avec des modifications minimales. Nous menons des expériences approfondies sur plus de 20 jeux de données couvrant 7 tâches de génération de texte, incluant la synthèse, la traduction, le dialogue, et plus encore. Nous montrons que DTG surpasse systématiquement les méthodes de prompting existantes et atteint des performances de pointe sur plusieurs tâches de génération de texte. Nous fournissons également des analyses approfondies pour révéler les mécanismes sous-jacents de DTG, ce qui pourrait inspirer des recherches futures sur le prompting pour les LLMs.

English

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.