EIPE-Text: Evaluierungsgestützte iterative Planextraktion für die Generierung langer narrativer Texte

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

Autoren: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

Zusammenfassung

Plan-and-Write ist ein gängiger hierarchischer Ansatz bei der Generierung von langen narrativen Texten, bei dem zunächst ein Plan erstellt wird, um das narrative Schreiben zu steuern. In Anlehnung an diesen Ansatz verlassen sich mehrere Studien darauf, große Sprachmodelle einfach für die Planung zu verwenden, was oft zu suboptimalen Ergebnissen führt. In diesem Artikel schlagen wir ein neues Framework namens Evaluation-guided Iterative Plan Extraction für die Generierung von langen narrativen Texten (EIPE-text) vor, das Pläne aus einem Korpus von Erzählungen extrahiert und die extrahierten Pläne nutzt, um einen besseren Planer zu konstruieren. EIPE-text besteht aus drei Phasen: Planextraktion, Lernen und Inferenz. In der Planextraktionsphase werden Pläne iterativ aus dem narrativen Korpus extrahiert und verbessert, um einen Plankorpus zu erstellen. Wir schlagen einen auf Frage-Antwort (QA) basierenden Bewertungsmechanismus vor, um die Pläne automatisch zu bewerten und detaillierte Anweisungen zur Planverfeinerung zu generieren, die die iterative Verbesserung leiten. In der Lernphase bauen wir einen besseren Planer, indem wir ihn mit dem Plankorpus feinabstimmen oder durch In-Context-Lernen mit Beispielen aus dem Plankorpus trainieren. Schließlich nutzen wir einen hierarchischen Ansatz, um lange narrative Texte zu generieren. Wir bewerten die Wirksamkeit von EIPE-text in den Bereichen Romane und Geschichtenerzählung. Sowohl GPT-4-basierte Bewertungen als auch menschliche Bewertungen zeigen, dass unsere Methode kohärentere und relevantere lange narrative Texte generieren kann. Unser Code wird in Zukunft veröffentlicht.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.