Críticos Colectivos para la Generación Creativa de Historias

Collective Critics for Creative Story Generation

October 3, 2024

Autores: Minwook Bae, Hyounghun Kim

cs.AI

Resumen

Generar una historia larga de varias miles de palabras con coherencia narrativa utilizando Modelos de Lenguaje Grandes (LLMs) ha sido una tarea desafiante. Investigaciones previas han abordado este desafío proponiendo diferentes marcos de trabajo que crean un plan de historia y generan una historia larga basada en ese plan. Sin embargo, estos marcos de trabajo se han centrado principalmente en mantener la coherencia narrativa en las historias, a menudo pasando por alto la creatividad en la planificación de historias y la expresividad de las historias generadas a partir de esos planes, que son propiedades deseables para cautivar el interés de los lectores. En este documento, proponemos el marco de trabajo Críticos Colectivos para la Generación Creativa de Historias (CritiCS), que se compone de una etapa de refinamiento del plan (CrPlan) y una etapa de generación de historia (CrText), para integrar un mecanismo de revisión colectiva que promueva esas propiedades en el proceso de generación de historias de formato largo. Específicamente, en cada etapa, un grupo de críticos LLM y un líder colaboran para refinar de manera incremental los borradores del plan y la historia a lo largo de múltiples rondas. Una extensa evaluación humana muestra que el CritiCS puede mejorar significativamente la creatividad de la historia y la participación del lector, al tiempo que mantiene la coherencia narrativa. Además, el diseño del marco de trabajo permite la participación activa de escritores humanos en cualquier rol dentro del proceso de crítica, lo que posibilita la colaboración humana-máquina interactiva en la escritura de historias.

English

Generating a long story of several thousand words with narrative coherence using Large Language Models (LLMs) has been a challenging task. Previous research has addressed this challenge by proposing different frameworks that create a story plan and generate a long story based on that plan. However, these frameworks have been mainly focusing on maintaining narrative coherence in stories, often overlooking creativity in story planning and the expressiveness of the stories generated from those plans, which are desirable properties to captivate readers' interest. In this paper, we propose Collective Critics for Creative Story Generation framework (CritiCS), which is composed of plan refining stage (CrPlan) and story generation stage (CrText), to integrate a collective revision mechanism that promotes those properties into long-form story generation process. Specifically, in each stage, a group of LLM critics and one leader collaborate to incrementally refine drafts of plan and story throughout multiple rounds. Extensive human evaluation shows that the CritiCS can significantly enhance story creativity and reader engagement, while also maintaining narrative coherence. Furthermore, the design of the framework allows active participation from human writers in any role within the critique process, enabling interactive human-machine collaboration in story writing.