Críticos Coletivos para Geração de Histórias Criativas

Collective Critics for Creative Story Generation

October 3, 2024

Autores: Minwook Bae, Hyounghun Kim

cs.AI

Resumo

Gerar uma história longa de várias mil palavras com coerência narrativa usando Modelos de Linguagem de Grande Escala (LLMs) tem sido uma tarefa desafiadora. Pesquisas anteriores abordaram esse desafio propondo diferentes estruturas que criam um plano de história e geram uma história longa com base nesse plano. No entanto, essas estruturas têm se concentrado principalmente em manter a coerência narrativa nas histórias, frequentemente negligenciando a criatividade no planejamento da história e a expressividade das histórias geradas a partir desses planos, que são propriedades desejáveis para cativar o interesse dos leitores. Neste artigo, propomos o framework Collective Critics for Creative Story Generation (CritiCS), que é composto por uma etapa de refinamento do plano (CrPlan) e uma etapa de geração de história (CrText), para integrar um mecanismo de revisão coletiva que promove essas propriedades no processo de geração de histórias de longa extensão. Especificamente, em cada etapa, um grupo de críticos LLM e um líder colaboram para refinar incrementalmente rascunhos de planos e histórias ao longo de múltiplas rodadas. Uma extensa avaliação humana mostra que o CritiCS pode melhorar significativamente a criatividade da história e o engajamento do leitor, mantendo também a coerência narrativa. Além disso, o design do framework permite a participação ativa de escritores humanos em qualquer papel dentro do processo de crítica, possibilitando a colaboração humana-máquina interativa na escrita de histórias.

English

Generating a long story of several thousand words with narrative coherence using Large Language Models (LLMs) has been a challenging task. Previous research has addressed this challenge by proposing different frameworks that create a story plan and generate a long story based on that plan. However, these frameworks have been mainly focusing on maintaining narrative coherence in stories, often overlooking creativity in story planning and the expressiveness of the stories generated from those plans, which are desirable properties to captivate readers' interest. In this paper, we propose Collective Critics for Creative Story Generation framework (CritiCS), which is composed of plan refining stage (CrPlan) and story generation stage (CrText), to integrate a collective revision mechanism that promotes those properties into long-form story generation process. Specifically, in each stage, a group of LLM critics and one leader collaborate to incrementally refine drafts of plan and story throughout multiple rounds. Extensive human evaluation shows that the CritiCS can significantly enhance story creativity and reader engagement, while also maintaining narrative coherence. Furthermore, the design of the framework allows active participation from human writers in any role within the critique process, enabling interactive human-machine collaboration in story writing.