Kollektive Kritiker für kreative Geschichtenerzeugung

Collective Critics for Creative Story Generation

October 3, 2024

Autoren: Minwook Bae, Hyounghun Kim

cs.AI

Zusammenfassung

Die Generierung einer langen Geschichte von mehreren tausend Wörtern mit narrativer Kohärenz unter Verwendung von Large Language Models (LLMs) war eine anspruchsvolle Aufgabe. Frühere Forschungen haben sich mit dieser Herausforderung befasst, indem sie verschiedene Rahmenbedingungen vorgeschlagen haben, die einen Geschäftsplan erstellen und basierend auf diesem Plan eine lange Geschichte generieren. Allerdings konzentrierten sich diese Rahmenbedingungen hauptsächlich darauf, die narrative Kohärenz in Geschichten aufrechtzuerhalten, wobei oft die Kreativität bei der Geschäftsplanung und die Ausdruckskraft der aus diesen Plänen generierten Geschichten übersehen wurden, die wünschenswerte Eigenschaften sind, um das Interesse der Leser zu fesseln. In diesem Paper schlagen wir das Collective Critics for Creative Story Generation Framework (CritiCS) vor, das aus einer Planungsverfeinerungsphase (CrPlan) und einer Geschichtsgenerierungsphase (CrText) besteht, um einen kollektiven Überarbeitungsmechanismus zu integrieren, der diese Eigenschaften in den Prozess der Generierung von Langformgeschichten fördert. Speziell arbeitet in jeder Phase eine Gruppe von LLM-Kritikern und einem Anführer zusammen, um Entwürfe des Plans und der Geschichte in mehreren Runden inkrementell zu verfeinern. Eine umfangreiche menschliche Bewertung zeigt, dass das CritiCS die Kreativität der Geschichten und das Leserengagement signifikant steigern kann, während gleichzeitig die narrative Kohärenz erhalten bleibt. Darüber hinaus ermöglicht das Design des Frameworks eine aktive Beteiligung von menschlichen Autoren in jeder Rolle innerhalb des Kritikprozesses, was eine interaktive menschlich-maschinelle Zusammenarbeit beim Geschichtenschreiben ermöglicht.

English

Generating a long story of several thousand words with narrative coherence using Large Language Models (LLMs) has been a challenging task. Previous research has addressed this challenge by proposing different frameworks that create a story plan and generate a long story based on that plan. However, these frameworks have been mainly focusing on maintaining narrative coherence in stories, often overlooking creativity in story planning and the expressiveness of the stories generated from those plans, which are desirable properties to captivate readers' interest. In this paper, we propose Collective Critics for Creative Story Generation framework (CritiCS), which is composed of plan refining stage (CrPlan) and story generation stage (CrText), to integrate a collective revision mechanism that promotes those properties into long-form story generation process. Specifically, in each stage, a group of LLM critics and one leader collaborate to incrementally refine drafts of plan and story throughout multiple rounds. Extensive human evaluation shows that the CritiCS can significantly enhance story creativity and reader engagement, while also maintaining narrative coherence. Furthermore, the design of the framework allows active participation from human writers in any role within the critique process, enabling interactive human-machine collaboration in story writing.