EIPE-text: Extração Iterativa de Planos Guiada por Avaliação para Geração de Textos Narrativos Longos

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

Autores: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

Resumo

Plan-and-Write é uma abordagem hierárquica comum na geração de textos narrativos de longa forma, que primeiro cria um plano para orientar a escrita narrativa. Seguindo essa abordagem, vários estudos dependem simplesmente de solicitar modelos de linguagem de grande escala para o planejamento, o que frequentemente produz resultados subótimos. Neste artigo, propomos um novo framework chamado Extração Iterativa de Planos Guiada por Avaliação para geração de textos narrativos de longa forma (EIPE-text), que extrai planos do corpus de narrativas e utiliza os planos extraídos para construir um planejador melhor. O EIPE-text possui três estágios: extração de planos, aprendizado e inferência. No estágio de extração de planos, ele extrai e melhora iterativamente os planos do corpus narrativo e constrói um corpus de planos. Propomos um mecanismo de avaliação baseado em perguntas e respostas (QA) para avaliar automaticamente os planos e gerar instruções detalhadas de refinamento de planos para orientar a melhoria iterativa. No estágio de aprendizado, construímos um planejador melhor por meio de ajuste fino com o corpus de planos ou aprendizado em contexto com exemplos do corpus de planos. Por fim, utilizamos uma abordagem hierárquica para gerar narrativas de longa forma. Avaliamos a eficácia do EIPE-text nos domínios de romances e contação de histórias. Tanto as avaliações baseadas em GPT-4 quanto as avaliações humanas demonstram que nosso método pode gerar narrativas de longa forma mais coerentes e relevantes. Nosso código será liberado no futuro.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.