창의적 이야기 생성을 위한 집단 평가자

초록

대규모 언어 모델 (LLM)을 사용하여 수천 단어로 이루어진 일관된 서술을 가진 긴 이야기를 생성하는 것은 어려운 과제였습니다. 이전 연구에서는 서술 일관성을 유지하면서 이야기 계획을 수립하고 그에 기반한 긴 이야기를 생성하는 다양한 프레임워크를 제안하여 이 도전에 대응해 왔습니다. 그러나 이러한 프레임워크는 주로 이야기 계획의 창의성과 해당 계획에서 생성된 이야기의 표현력을 간과하고, 이러한 특성은 독자의 흥미를 사로잡는 데 유용합니다. 본 논문에서는 창의적 이야기 생성을 위한 집단 평가자 프레임워크 (CritiCS)를 제안합니다. 이 프레임워크는 계획 정제 단계 (CrPlan)와 이야기 생성 단계 (CrText)로 구성되어, 이러한 특성을 촉진하는 집단적 수정 메커니즘을 긴 형식의 이야기 생성 과정에 통합합니다. 구체적으로, 각 단계에서 LLM 평가자 그룹과 한 명의 리더가 협력하여 계획과 이야기 초고를 단계별로 개선합니다. 광범위한 인간 평가 결과는 CritiCS가 이야기 창의성과 독자 참여를 현저히 향상시킬 수 있음을 보여주며, 동시에 서술 일관성을 유지합니다. 더불어, 이 프레임워크의 설계는 이야기 작성에서 인간 작가의 적극적 참여를 가능하게 하여 이야기 작성에서 인간-기계 상호작용을 통한 협업을 실현합니다.

English

Generating a long story of several thousand words with narrative coherence using Large Language Models (LLMs) has been a challenging task. Previous research has addressed this challenge by proposing different frameworks that create a story plan and generate a long story based on that plan. However, these frameworks have been mainly focusing on maintaining narrative coherence in stories, often overlooking creativity in story planning and the expressiveness of the stories generated from those plans, which are desirable properties to captivate readers' interest. In this paper, we propose Collective Critics for Creative Story Generation framework (CritiCS), which is composed of plan refining stage (CrPlan) and story generation stage (CrText), to integrate a collective revision mechanism that promotes those properties into long-form story generation process. Specifically, in each stage, a group of LLM critics and one leader collaborate to incrementally refine drafts of plan and story throughout multiple rounds. Extensive human evaluation shows that the CritiCS can significantly enhance story creativity and reader engagement, while also maintaining narrative coherence. Furthermore, the design of the framework allows active participation from human writers in any role within the critique process, enabling interactive human-machine collaboration in story writing.