Critici collettivi per la generazione creativa di storie

Abstract

Generare una lunga storia di diverse migliaia di parole con coerenza narrativa utilizzando i Grandi Modelli Linguistici (LLM) è stata un'impresa impegnativa. Ricerche precedenti hanno affrontato questa sfida proponendo diversi framework che creano un piano della storia e generano una lunga narrazione basata su tale piano. Tuttavia, questi framework si sono concentrati principalmente sulla mantenimento della coerenza narrativa nelle storie, spesso trascurando la creatività nella pianificazione della storia e l'espressività delle storie generate da tali piani, che sono proprietà desiderabili per catturare l'interesse dei lettori. In questo articolo, proponiamo il framework CritiCS (Collective Critics for Creative Story Generation), composto dalla fase di perfezionamento del piano (CrPlan) e dalla fase di generazione della storia (CrText), per integrare un meccanismo di revisione collettiva che promuove tali proprietà nel processo di generazione di storie di lunga durata. In particolare, in ciascuna fase, un gruppo di critici LLM e un leader collaborano per perfezionare incrementalmente le bozze del piano e della storia attraverso molteplici iterazioni. Un'ampia valutazione umana dimostra che il CritiCS può migliorare significativamente la creatività della storia e l'interesse del lettore, mantenendo al contempo la coerenza narrativa. Inoltre, il design del framework consente la partecipazione attiva da parte degli scrittori umani in qualsiasi ruolo all'interno del processo di critica, consentendo una collaborazione interattiva tra umani e macchine nella scrittura di storie.

English

Generating a long story of several thousand words with narrative coherence using Large Language Models (LLMs) has been a challenging task. Previous research has addressed this challenge by proposing different frameworks that create a story plan and generate a long story based on that plan. However, these frameworks have been mainly focusing on maintaining narrative coherence in stories, often overlooking creativity in story planning and the expressiveness of the stories generated from those plans, which are desirable properties to captivate readers' interest. In this paper, we propose Collective Critics for Creative Story Generation framework (CritiCS), which is composed of plan refining stage (CrPlan) and story generation stage (CrText), to integrate a collective revision mechanism that promotes those properties into long-form story generation process. Specifically, in each stage, a group of LLM critics and one leader collaborate to incrementally refine drafts of plan and story throughout multiple rounds. Extensive human evaluation shows that the CritiCS can significantly enhance story creativity and reader engagement, while also maintaining narrative coherence. Furthermore, the design of the framework allows active participation from human writers in any role within the critique process, enabling interactive human-machine collaboration in story writing.