Коллективные критики для генерации креативных историй.

Collective Critics for Creative Story Generation

October 3, 2024

Авторы: Minwook Bae, Hyounghun Kim

cs.AI

Аннотация

Генерация длинного рассказа длиной в несколько тысяч слов с согласованной повествовательной структурой с использованием больших языковых моделей (LLM) представляет собой сложную задачу. Предыдущие исследования решали эту проблему, предлагая различные фреймворки, которые создают план рассказа и генерируют длинный рассказ на основе этого плана. Однако эти фреймворки в основном сосредотачивались на поддержании согласованности повествования в рассказах, часто упуская из виду креативность в планировании сюжета и выразительность сгенерированных из этих планов рассказов, которые являются желательными свойствами для привлечения интереса читателей. В данной статье мы предлагаем фреймворк Коллективных Критиков для Творческой Генерации Рассказов (CritiCS), который состоит из этапа уточнения плана (CrPlan) и этапа генерации рассказа (CrText), чтобы интегрировать коллективный механизм редактирования, способствующий этим свойствам в процессе генерации длинной формы рассказа. Конкретно, на каждом этапе группа критиков LLM и один лидер сотрудничают для поэтапного улучшения черновиков плана и рассказа на протяжении нескольких раундов. Обширная человеческая оценка показывает, что CritiCS может значительно улучшить креативность рассказа и вовлеченность читателя, сохраняя при этом согласованность повествования. Более того, дизайн фреймворка позволяет активное участие человеческих авторов в любой роли в процессе критики, обеспечивая интерактивное взаимодействие человека и машины в написании рассказа.

English

Generating a long story of several thousand words with narrative coherence using Large Language Models (LLMs) has been a challenging task. Previous research has addressed this challenge by proposing different frameworks that create a story plan and generate a long story based on that plan. However, these frameworks have been mainly focusing on maintaining narrative coherence in stories, often overlooking creativity in story planning and the expressiveness of the stories generated from those plans, which are desirable properties to captivate readers' interest. In this paper, we propose Collective Critics for Creative Story Generation framework (CritiCS), which is composed of plan refining stage (CrPlan) and story generation stage (CrText), to integrate a collective revision mechanism that promotes those properties into long-form story generation process. Specifically, in each stage, a group of LLM critics and one leader collaborate to incrementally refine drafts of plan and story throughout multiple rounds. Extensive human evaluation shows that the CritiCS can significantly enhance story creativity and reader engagement, while also maintaining narrative coherence. Furthermore, the design of the framework allows active participation from human writers in any role within the critique process, enabling interactive human-machine collaboration in story writing.