EIPE-text: Extracción Iterativa de Planes Guiada por Evaluación para la Generación de Textos Narrativos de Largo Formato

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

Autores: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

Resumen

Plan-and-Write es un enfoque jerárquico común en la generación de textos narrativos extensos, que primero crea un plan para guiar la escritura narrativa. Siguiendo este enfoque, varios estudios dependen simplemente de solicitar a los modelos de lenguaje grandes que generen planes, lo que a menudo produce resultados subóptimos. En este artículo, proponemos un nuevo marco llamado Extracción Iterativa de Planes Guiada por Evaluación para la generación de textos narrativos extensos (EIPE-text), que extrae planes del corpus de narrativas y utiliza los planes extraídos para construir un planificador mejorado. EIPE-text consta de tres etapas: extracción de planes, aprendizaje e inferencia. En la etapa de extracción de planes, extrae y mejora iterativamente los planes del corpus narrativo y construye un corpus de planes. Proponemos un mecanismo de evaluación basado en preguntas y respuestas (QA) para evaluar automáticamente los planes y generar instrucciones detalladas de refinamiento de planes que guíen la mejora iterativa. En la etapa de aprendizaje, construimos un planificador mejorado mediante ajuste fino con el corpus de planes o aprendizaje en contexto con ejemplos del corpus de planes. Finalmente, aprovechamos un enfoque jerárquico para generar narrativas extensas. Evaluamos la efectividad de EIPE-text en los dominios de novelas y narración de historias. Tanto las evaluaciones basadas en GPT-4 como las evaluaciones humanas demuestran que nuestro método puede generar narrativas extensas más coherentes y relevantes. Nuestro código será publicado en el futuro.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.