熟考してから生成：テキスト生成のための拡張プロンプティングフレームワーク

要旨

大規模言語モデル（LLM）は、幅広い自然言語生成タスクにおいて顕著な成功を収めており、適切なプロンプト設計が大きな影響を与えることが知られています。既存のプロンプト手法は通常、正しい情報を提供することに限定されていますが、本論文では、モデルに熟考を促す新しい「熟考してから生成する（Deliberate then Generate: DTG）」プロンプトフレームワークを提案します。このフレームワークは、エラー検出の指示とエラーを含む可能性のある候補から構成されています。DTGは、最小限の修正でさまざまなテキスト生成タスクに適用できるシンプルでありながら効果的な技術です。要約、翻訳、対話など7つのテキスト生成タスクにわたる20以上のデータセットで広範な実験を行い、DTGが既存のプロンプト手法を一貫して上回り、複数のテキスト生成タスクで最先端の性能を達成することを示します。さらに、DTGの背後にあるメカニズムを詳細に分析し、LLMのためのプロンプト設計に関する今後の研究にインスピレーションを与える可能性を探ります。

English

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.

熟考してから生成：テキスト生成のための拡張プロンプティングフレームワーク

Deliberate then Generate: Enhanced Prompting Framework for Text Generation

要旨

Support