EIPE-text: 장편 서사 텍스트 생성을 위한 평가 기반 반복적 계획 추출

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

저자: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

초록

Plan-and-Write는 장편 서사 텍스트 생성에서 일반적으로 사용되는 계층적 접근 방식으로, 먼저 서사 작성을 안내하기 위한 계획을 수립합니다. 이 접근 방식을 따르는 여러 연구에서는 대규모 언어 모델을 단순히 프롬프팅하여 계획을 생성하는데, 이는 종종 최적의 결과를 내지 못합니다. 본 논문에서는 장편 서사 텍스트 생성을 위한 새로운 프레임워크인 Evaluation-guided Iterative Plan Extraction (EIPE-text)를 제안합니다. 이 프레임워크는 서사 텍스트 코퍼스에서 계획을 추출하고, 추출된 계획을 활용하여 더 나은 플래너를 구축합니다. EIPE-text는 세 단계로 구성됩니다: 계획 추출, 학습, 그리고 추론. 계획 추출 단계에서는 서사 코퍼스에서 반복적으로 계획을 추출하고 개선하며, 계획 코퍼스를 구축합니다. 우리는 질문-응답(QA) 기반 평가 메커니즘을 제안하여 계획을 자동으로 평가하고, 반복적인 개선을 안내하는 상세한 계획 개선 지침을 생성합니다. 학습 단계에서는 계획 코퍼스를 활용하여 미세 조정(fine-tuning)하거나, 계획 코퍼스 내 예시를 활용한 인컨텍스트 학습(in-context learning)을 통해 더 나은 플래너를 구축합니다. 마지막으로, 계층적 접근 방식을 활용하여 장편 서사를 생성합니다. 우리는 EIPE-text의 효과를 소설 및 스토리텔링 분야에서 평가합니다. GPT-4 기반 평가와 인간 평가 모두 우리의 방법이 더 일관적이고 관련성 높은 장편 서사를 생성할 수 있음을 보여줍니다. 우리의 코드는 추후 공개될 예정입니다.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.