EIPE-text: Извлечение итеративного плана с управлением через оценку для генерации длинных повествовательных текстов

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

Авторы: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

Аннотация

Plan-and-Write — это распространенный иерархический подход в генерации длинных повествовательных текстов, который сначала создает план для руководства написанием повествования. Следуя этому подходу, несколько исследований полагаются на простые запросы к большим языковым моделям для создания планов, что часто приводит к неоптимальным результатам. В данной статье мы предлагаем новый фреймворк под названием Evaluation-guided Iterative Plan Extraction для генерации длинных повествовательных текстов (EIPE-text), который извлекает планы из корпуса повествований и использует извлеченные планы для создания более эффективного планировщика. EIPE-text состоит из трех этапов: извлечение планов, обучение и вывод. На этапе извлечения планов он итеративно извлекает и улучшает планы из корпуса повествований и создает корпус планов. Мы предлагаем механизм оценки на основе вопросов и ответов (QA) для автоматической оценки планов и генерации детальных инструкций по улучшению планов, которые направляют итеративное совершенствование. На этапе обучения мы создаем более эффективный планировщик путем тонкой настройки с использованием корпуса планов или обучения в контексте с примерами из корпуса планов. Наконец, мы используем иерархический подход для генерации длинных повествований. Мы оцениваем эффективность EIPE-text в областях романов и рассказов. Как оценки на основе GPT-4, так и оценки экспертов демонстрируют, что наш метод позволяет генерировать более связные и релевантные длинные повествования. Наш код будет опубликован в будущем.

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.