생각한 후 생성하기: 텍스트 생성을 위한 향상된 프롬프팅 프레임워크

초록

대규모 언어 모델(LLMs)은 다양한 자연어 생성 작업에서 놀라운 성공을 보여 왔으며, 이때 적절한 프롬프트 설계가 큰 영향을 미칩니다. 기존의 프롬프트 방법은 일반적으로 정확한 정보를 제공하는 데 제한되어 있지만, 본 논문에서는 모델이 숙고하도록 유도하는 새로운 'Deliberate then Generate(DTG)' 프롬프트 프레임워크를 제안합니다. 이 프레임워크는 오류 탐지 지침과 오류를 포함할 수 있는 후보들로 구성됩니다. DTG는 간단하면서도 효과적인 기술로, 최소한의 수정만으로 다양한 텍스트 생성 작업에 적용할 수 있습니다. 우리는 요약, 번역, 대화 등 7가지 텍스트 생성 작업에 걸쳐 20개 이상의 데이터셋에서 광범위한 실험을 수행했습니다. 실험 결과, DTG는 기존의 프롬프트 방법을 일관되게 능가하며 여러 텍스트 생성 작업에서 최첨단 성능을 달성함을 보여줍니다. 또한, DTG의 내부 메커니즘을 심층적으로 분석하여 향후 LLMs를 위한 프롬프트 연구에 영감을 줄 수 있는 통찰을 제공합니다.

English

Large language models (LLMs) have shown remarkable success across a wide range of natural language generation tasks, where proper prompt designs make great impacts. While existing prompting methods are normally restricted to providing correct information, in this paper, we encourage the model to deliberate by proposing a novel Deliberate then Generate (DTG) prompting framework, which consists of error detection instructions and candidates that may contain errors. DTG is a simple yet effective technique that can be applied to various text generation tasks with minimal modifications. We conduct extensive experiments on 20+ datasets across 7 text generation tasks, including summarization, translation, dialogue, and more. We show that DTG consistently outperforms existing prompting methods and achieves state-of-the-art performance on multiple text generation tasks. We also provide in-depth analyses to reveal the underlying mechanisms of DTG, which may inspire future research on prompting for LLMs.

생각한 후 생성하기: 텍스트 생성을 위한 향상된 프롬프팅 프레임워크

Deliberate then Generate: Enhanced Prompting Framework for Text Generation

초록

Support