EIPE-text : Extraction Itérative de Plans Guidée par l'Évaluation pour la Génération de Textes Narratifs Longs

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

papers.authors: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

papers.abstract

Plan-and-Write est une approche hiérarchique couramment utilisée dans la génération de textes narratifs longs, qui consiste d'abord à créer un plan pour guider l'écriture narrative. Suivant cette approche, plusieurs études se contentent de solliciter des modèles de langage de grande taille pour la planification, ce qui donne souvent des résultats sous-optimaux. Dans cet article, nous proposons un nouveau cadre appelé Extraction Itérative de Plans Guidée par l'Évaluation pour la génération de textes narratifs longs (EIPE-text), qui extrait des plans à partir d'un corpus de récits et utilise ces plans pour construire un meilleur planificateur. EIPE-text comporte trois étapes : extraction de plans, apprentissage et inférence. Dans l'étape d'extraction de plans, il extrait et améliore itérativement les plans à partir du corpus narratif et construit un corpus de plans. Nous proposons un mécanisme d'évaluation basé sur des questions-réponses (QA) pour évaluer automatiquement les plans et générer des instructions détaillées de raffinement de plans afin de guider l'amélioration itérative. Dans l'étape d'apprentissage, nous construisons un meilleur planificateur en effectuant un fine-tuning avec le corpus de plans ou en utilisant l'apprentissage en contexte avec des exemples du corpus de plans. Enfin, nous exploitons une approche hiérarchique pour générer des récits longs. Nous évaluons l'efficacité d'EIPE-text dans les domaines des romans et de la narration. Les évaluations basées sur GPT-4 et les évaluations humaines démontrent que notre méthode peut générer des récits longs plus cohérents et pertinents. Notre code sera publié ultérieurement.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.