EIPE-tekst: Evaluatie-Gestuurde Iteratieve Plan Extractie voor het Genereren van Lange Narratieve Teksten

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

Auteurs: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

Samenvatting

Plan-and-Write is een veelgebruikte hiërarchische aanpak bij het genereren van lange narratieve teksten, waarbij eerst een plan wordt gemaakt om het schrijven van het verhaal te sturen. In navolging van deze aanpak vertrouwen verschillende studies op het eenvoudig aansturen van grote taalmodelen voor het plannen, wat vaak suboptimale resultaten oplevert. In dit artikel stellen we een nieuw raamwerk voor genaamd Evaluation-guided Iterative Plan Extraction voor het genereren van lange narratieve teksten (EIPE-text), dat plannen extraheert uit een corpus van verhalen en de geëxtraheerde plannen gebruikt om een betere planner te construeren. EIPE-text bestaat uit drie fasen: planextractie, leren en inferentie. In de planextractiefase worden plannen iteratief geëxtraheerd en verbeterd uit het narratieve corpus, en wordt een plancorpus opgebouwd. We stellen een vraag-antwoord (QA) gebaseerd evaluatiemechanisme voor om de plannen automatisch te evalueren en gedetailleerde planverfijningsinstructies te genereren om de iteratieve verbetering te begeleiden. In de leefase bouwen we een betere planner door fine-tuning met het plancorpus of in-context leren met voorbeelden uit het plancorpus. Ten slotte maken we gebruik van een hiërarchische aanpak om lange narratieve teksten te genereren. We evalueren de effectiviteit van EIPE-text in de domeinen van romans en verhalenvertelling. Zowel GPT-4-gebaseerde evaluaties als menselijke evaluaties tonen aan dat onze methode meer samenhangende en relevante lange narratieve teksten kan genereren. Onze code zal in de toekomst worden vrijgegeven.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.