LLMエージェントは台本を守り通せるか？インタラクティブ・ナラティブにおける長期的整合性のためのベンチマーク

要旨

大規模言語モデル(LLM)の急速な進歩は、オープンエンドで流動的な対話型ストーリーテリングを可能にすることで、ゲームAIに革命をもたらしつつある。しかしながら、既存研究は、制約のないユーザー介入に対して長期的な論理一貫性と物語の完全性を維持するという重要な課題をほとんど見落としてきた。この課題に対処するため、我々はこれを物語コミットメント保持(NCP)として定式化し、対話型物語をテストベッドとして採用する。我々は、映画のあらすじから構築した100の物語環境からなるベンチマークNCP-Benchを導入する。各環境は構造化された物語仕様(トラジェクトリ、コミットメント、初期事実)を含み、プレイヤーエージェントとナレーターエージェントの対話全体を通じて自動的に検証可能である。最先端のLLMを用いた実験により、長期的な一貫性に大きなギャップがあることが明らかになった。すなわち、高い言語品質はコミットメント保持を保証せず、強力なモデルでさえ敵対的介入下で論理的に矛盾する内容を頻繁に生成する。最高性能モデル(GPT-5.2)でも20ターン後の生存率はわずか42%であり、事実矛盾率はモデル間で40%から68%の範囲に及び、100ターン制限内で全ての達成コミットメントを満たしたのはごく一部の実行のみであった。

English

The rapid advancement of Large Language Models (LLMs) is revolutionizing AI for Games by enabling open-ended and fluid interactive storytelling. However, existing research has largely overlooked the critical challenge of maintaining long-horizon logical consistency and narrative integrity against unconstrained user interventions. To address this, we formulate this challenge as Narrative Commitment Preservation (NCP), and take interactive narrative as our testbed. We introduce NCP-Bench, a benchmark of 100 narrative environments derived from movie synopses. Each environment includes a structured narrative specification (trajectory, commitments, and initial facts) that we can automatically check throughout the interaction between the player agent and the narrator agent. Experiments across state-of-the-art LLMs reveal a substantial long-horizon consistency gap: high linguistic quality does not guarantee commitment preservation; even strong models frequently generate logically conflicting content under adversarial interventions, with the best-performing model (GPT-5.2) achieving only 42% survival rate after 20 turns and fact conflict rates ranging from 40% to 68% across models, and only isolated runs satisfying all achievement commitments within the 100-turn limit.