EIPE-text: Estrazione Iterativa di Piani Guidata dalla Valutazione per la Generazione di Testi Narrativi Lunghi

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

Autori: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

Abstract

Plan-and-Write è un approccio gerarchico comune nella generazione di testi narrativi di lunga durata, che prevede innanzitutto la creazione di un piano per guidare la scrittura narrativa. Seguendo questo approccio, diversi studi si basano semplicemente sul prompt di grandi modelli linguistici per la pianificazione, il che spesso produce risultati subottimali. In questo articolo, proponiamo un nuovo framework chiamato Evaluation-guided Iterative Plan Extraction per la generazione di testi narrativi di lunga durata (EIPE-text), che estrae piani dal corpus di narrazioni e utilizza i piani estratti per costruire un pianificatore migliore. EIPE-text si articola in tre fasi: estrazione del piano, apprendimento e inferenza. Nella fase di estrazione del piano, esso estrae e migliora iterativamente i piani dal corpus narrativo e costruisce un corpus di piani. Proponiamo un meccanismo di valutazione basato su domande e risposte (QA) per valutare automaticamente i piani e generare istruzioni dettagliate per il perfezionamento del piano, al fine di guidare il miglioramento iterativo. Nella fase di apprendimento, costruiamo un pianificatore migliore attraverso il fine-tuning con il corpus di piani o l'apprendimento in-context con esempi presenti nel corpus di piani. Infine, sfruttiamo un approccio gerarchico per generare narrazioni di lunga durata. Valutiamo l'efficacia di EIPE-text nei domini dei romanzi e della narrazione. Sia le valutazioni basate su GPT-4 che quelle umane dimostrano che il nostro metodo può generare narrazioni di lunga durata più coerenti e pertinenti. Il nostro codice verrà rilasciato in futuro.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.