フランケンテキスト：ランダムなテキスト断片を長編ナラティブに縫い合わせる

Frankentext: Stitching random text fragments into long-form narratives

May 23, 2025

著者: Chau Minh Pham, Jenna Russell, Dzung Pham, Mohit Iyyer

cs.AI

要旨

私たちは、人間の文章から大部分のトークン（例えば90%）を逐語的にコピーするという極端な制約下でLLMが生成する新たな長編ナラティブ、フランケンテキストを紹介します。このタスクは、書き込みプロンプトを満たし、異なるテキスト断片を統合し、それでも一貫した物語を生み出すという、制御可能な生成の難しいテストとなります。フランケンテキストを生成するために、モデルに人間が書いた文章を選択して組み合わせることで草案を作成するよう指示し、その後、ユーザー指定のコピー比率を維持しながら草案を反復的に修正します。生成されたフランケンテキストを、文章の質、指示の遵守度、検出可能性の3つの軸で評価します。Gemini-2.5-Proはこのタスクで驚くほどうまく機能し、そのフランケンテキストの81%が一貫性があり、100%がプロンプトに関連しています。特に、これらの出力の最大59%がPangramのような検出器によって人間が書いたものと誤分類され、AIテキスト検出器の限界が明らかになりました。人間の注釈者は、特に長い生成物において、セグメント間の急激なトーンの変化や一貫しない文法を通じてフランケンテキストを識別できることがあります。難しい生成タスクを提示するだけでなく、フランケンテキストは、この新たなグレーゾーンの著者性に対する効果的な検出器の構築、混合著者性検出のためのトレーニングデータの提供、人間とAIの共著プロセスを研究するためのサンドボックスとしての役割を果たします。

English

We introduce Frankentexts, a new type of long-form narratives produced by LLMs under the extreme constraint that most tokens (e.g., 90%) must be copied verbatim from human writings. This task presents a challenging test of controllable generation, requiring models to satisfy a writing prompt, integrate disparate text fragments, and still produce a coherent narrative. To generate Frankentexts, we instruct the model to produce a draft by selecting and combining human-written passages, then iteratively revise the draft while maintaining a user-specified copy ratio. We evaluate the resulting Frankentexts along three axes: writing quality, instruction adherence, and detectability. Gemini-2.5-Pro performs surprisingly well on this task: 81% of its Frankentexts are coherent and 100% relevant to the prompt. Notably, up to 59% of these outputs are misclassified as human-written by detectors like Pangram, revealing limitations in AI text detectors. Human annotators can sometimes identify Frankentexts through their abrupt tone shifts and inconsistent grammar between segments, especially in longer generations. Beyond presenting a challenging generation task, Frankentexts invite discussion on building effective detectors for this new grey zone of authorship, provide training data for mixed authorship detection, and serve as a sandbox for studying human-AI co-writing processes.