ピア投票型LLMエージェント・ストレステストによりフィード誘発性の語彙収束が検出される一方、分散ソースに対するマッチド・エクスポージャー優位性は信頼性をもって確認されなかった

要旨

大規模言語モデル（LLM）エージェントの集団レベル行動は、単一エージェントのベンチマークでは特徴づけられない。我々はPV-SST（ピア投票型ソーシャルプラットフォーム・テストベッド）を導入し、4つのトピック、4つの未使用シード、4つのオープンウェイトモデルファミリ、3つの事前指定されたより大きなバリアントにわたる、別個に凍結され事前登録されたマッチド曝露実験を報告する。実験は448試行と、モデル×トピック×シードの組み合わせによる112の完全ブロックから成る。トピックのみの対照条件と比較して、ピア生成の「いいね」でランク付けされた前ラウンドのピア投稿フィードは、4ファミリのコアパネル（対応のある平均差+0.0082 TF-IDFコサイン単位、95%ブロックブートストラップCI [0.0043, 0.0121]、ランダム化p=0.000105、n=64ブロック）と3バリアントのサイズ拡張（+0.0109 [0.0069, 0.0151]、p=0.000001、n=48）の両方で、最終ラウンドの語彙的類似性を増加させた。この対比はピア投稿への曝露とランキングを束ねているため、ランキングのみの効果を特定するものではない。反対側の生存率はコアパネルでは低下したが（-3.9パーセントポイント [-6.8, -1.6]、p=0.0068）、より大きなバリアントでは決定的ではなかった（-1.0 pp [-3.1, 0.4]、p=0.50）。敵対的印象を固定した場合、4つの分散ソースは、単一ソースよりも正直エージェントのスタンスを確実に動かすわけではない。事前登録された分散マイナス単一の対比は、コアパネルでは正であるが決定的ではなく（+0.057 [-0.009, 0.125]、p=0.112）、より大きなバリアントでは負であり（-0.040 [-0.113, 0.035]、p=0.332）、事前指定されたモデル横断・トピック横断の一貫性基準を満たさなかった。したがって、頑健な結果は、試験したピアランキングフィードの下での語彙的収束であり、一般的な意見捕捉や一般的な協調利点ではない。本研究は合成LLMエージェント集団を評価するものであり、人間や実運用プラットフォームへの影響を推定するものではない。

English

Population-level behavior in large-language-model (LLM) agents cannot be characterized by single-agent benchmarks. We introduce PV-SST, a peer-voted social-platform testbed, and report a separately frozen, preregistered matched-exposure experiment spanning four topics, four unused seeds, four open-weight model families, and three prespecified larger variants. The experiment comprises 448 trials and 112 complete model-by-topic-by-seed blocks. Relative to a topic-only control, a feed of previous-round peer posts ranked by peer-generated likes increases final-round lexical similarity in both the four-family core panel (paired mean difference +0.0082 TF-IDF cosine units, 95% block-bootstrap CI [0.0043, 0.0121], randomization p=0.000105, n=64 blocks) and the three-variant size extension (+0.0109 [0.0069, 0.0151], p=0.000001, n=48). This contrast bundles peer-post exposure with ranking and therefore does not identify a ranking-only effect. Opposite-side survival falls in the core panel (-3.9 percentage points [-6.8, -1.6], p=0.0068) but not conclusively in the larger variants (-1.0 pp [-3.1, 0.4], p=0.50). Holding adversarial impressions fixed, four distributed sources do not reliably move honest-agent stance more than one source. The preregistered distributed-minus-single contrast is positive but inconclusive in the core panel (+0.057 [-0.009, 0.125], p=0.112) and negative in the larger variants (-0.040 [-0.113, 0.035], p=0.332), failing the prespecified cross-model and cross-topic consistency criterion. Thus the robust result is lexical convergence under the tested peer-ranked feed, not general opinion capture or a general coordination advantage. The study evaluates synthetic LLM-agent populations; it does not estimate effects on people or production platforms.