Обдумай, затем создай: Усовершенствованная структура промптов для генерации текста

Deliberate then Generate: Enhanced Prompting Framework for Text Generation

May 31, 2023

Авторы: Bei Li, Rui Wang, Junliang Guo, Kaitao Song, Xu Tan, Hany Hassan, Arul Menezes, Tong Xiao, Jiang Bian, JingBo Zhu

cs.AI

Аннотация

Крупные языковые модели (LLM) продемонстрировали впечатляющие успехи в широком спектре задач генерации естественного языка, где правильное проектирование промптов оказывает значительное влияние. В то время как существующие методы промптинга обычно ограничиваются предоставлением корректной информации, в данной работе мы предлагаем модель обдумывать, вводя новый фреймворк Deliberate then Generate (DTG), который включает инструкции по обнаружению ошибок и кандидатов, которые могут содержать ошибки. DTG — это простая, но эффективная техника, которая может быть применена к различным задачам генерации текста с минимальными изменениями. Мы провели обширные эксперименты на более чем 20 наборах данных, охватывающих 7 задач генерации текста, включая суммаризацию, перевод, диалог и другие. Мы показываем, что DTG стабильно превосходит существующие методы промптинга и достигает наилучших результатов в нескольких задачах генерации текста. Мы также предоставляем глубокий анализ, чтобы раскрыть механизмы, лежащие в основе DTG, что может вдохновить будущие исследования в области промптинга для LLM.

English

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.