EIPE-text: 長文ナラティブテキスト生成のための評価ガイド型反復的プラン抽出

EIPE-text: Evaluation-Guided Iterative Plan Extraction for Long-Form Narrative Text Generation

October 12, 2023

著者: Wang You, Wenshan Wu, Yaobo Liang, Shaoguang Mao, Chenfei Wu, Maosong Cao, Yuzhe Cai, Yiduo Guo, Yan Xia, Furu Wei, Nan Duan

cs.AI

要旨

Plan-and-Writeは、長編ナラティブテキスト生成における一般的な階層的アプローチであり、まずナラティブの執筆を導くためのプランを作成します。このアプローチに従い、いくつかの研究では大規模言語モデルに単純にプロンプトを与えてプランニングを行っていますが、しばしば最適ではない結果が得られます。本論文では、長編ナラティブテキスト生成のための新しいフレームワークであるEvaluation-guided Iterative Plan Extraction（EIPE-text）を提案します。このフレームワークは、ナラティブのコーパスからプランを抽出し、抽出されたプランを利用してより優れたプランナーを構築します。EIPE-textは、プラン抽出、学習、推論の3つの段階から成ります。プラン抽出段階では、ナラティブコーパスから反復的にプランを抽出・改善し、プランコーパスを構築します。我々は、プランを自動的に評価し、反復的な改善を導くための詳細なプラン改良指示を生成するための質問応答（QA）ベースの評価メカニズムを提案します。学習段階では、プランコーパスを用いたファインチューニングまたはプランコーパス内の例を用いたインコンテキスト学習によって、より優れたプランナーを構築します。最後に、階層的アプローチを活用して長編ナラティブを生成します。我々は、EIPE-textの有効性を小説とストーリーテリングの領域で評価します。GPT-4ベースの評価と人間による評価の両方において、我々の手法がより一貫性があり関連性の高い長編ナラティブを生成できることが示されています。我々のコードは将来的に公開される予定です。

English

Plan-and-Write is a common hierarchical approach in long-form narrative text generation, which first creates a plan to guide the narrative writing. Following this approach, several studies rely on simply prompting large language models for planning, which often yields suboptimal results. In this paper, we propose a new framework called Evaluation-guided Iterative Plan Extraction for long-form narrative text generation (EIPE-text), which extracts plans from the corpus of narratives and utilizes the extracted plans to construct a better planner. EIPE-text has three stages: plan extraction, learning, and inference. In the plan extraction stage, it iteratively extracts and improves plans from the narrative corpus and constructs a plan corpus. We propose a question answer (QA) based evaluation mechanism to automatically evaluate the plans and generate detailed plan refinement instructions to guide the iterative improvement. In the learning stage, we build a better planner by fine-tuning with the plan corpus or in-context learning with examples in the plan corpus. Finally, we leverage a hierarchical approach to generate long-form narratives. We evaluate the effectiveness of EIPE-text in the domains of novels and storytelling. Both GPT-4-based evaluations and human evaluations demonstrate that our method can generate more coherent and relevant long-form narratives. Our code will be released in the future.