二段階協調的振り返り：マルチエージェントLLMシステムへのゲーム理論的アプローチ

要旨

マルチエージェントLLMシステムでは一般に、オーケストレータがタスクを分解してワーカーのチームへ割り当て、その後テキストによる省察を通じて改善を行う。強い経験的成果にもかかわらず、こうしたシステムには、協調、記憶改善、外部検証の役割に関する統一的説明が欠けている。我々は、オーケストレータとワーカーの相互作用を二層調整ゲーム（バイレベル調整ゲーム）としてモデル化する。有界な結合の下では、ワーカーの局所更新ゲームは近似ポテンシャルゲームとなり、その均衡スラックは分解品質によって制御される。次に、省察を意味記憶状態上の確率的移動として解析する。自由形式の省察に対しては、有限時間上界を導出し、最悪ケースでその上界がタイトであることを証明するとともに、反証可能な持続的害悪条件の下で正の下界を与える。さらに、情報理論的な不可能性の結果を証明する。生成されたトランスクリプトのみを観測するゲートは、テキスト上で区別不能な環境全体にわたって一様に改善することはできないが、環境に接地されたゲートはそれが可能である。この分離に動機づけられ、我々は確率的省察記憶上昇法（Stochastic Reflective Memory Ascent, SRMA）を導入する。SRMAは、接地された評価リスクが厳密に減少した場合のみ候補記憶を受け入れる。キャリブレーションと非退化な修正質量の下では、SRMAは正確に収束し、その収束は幾何級数的または多項式的となる。整合する構成により、これら二つの収束率領域はいずれもオーダーの意味でタイトであることが示される。さらに、確率的評価のための信頼度ゲーティングと、区分的定常環境に対する再アンカリング保証も提供する。実験では、これらの概念を環境に基づく指標によって具体化し、予測された協調則とドリフト則を検証する。SWE-bench の500インスタンスにおいて、完全なKimiベースシステムは72.2%を解決し、公開されているmini-SWE-agentの参照実装の70.8%を上回った。コード：https://github.com/YihangChen9/Bilevel-Coordinated-Reflection

English

Multi-agent LLM systems commonly use an orchestrator to decompose a task for a team of workers and then improve through textual reflection. Despite strong empirical results, these systems lack a unified account of coordination, memory improvement, and the role of external verification. We model orchestrator-worker interaction as a bilevel coordination game: under bounded coupling, the workers' local-update game is an approximate potential game whose equilibrium slack is controlled by decomposition quality. We then analyse reflection as stochastic movement over semantic memory states. For free-form reflection, we derive a finite-time upper bound, prove worst-case tightness, and give a positive lower bound under a falsifiable persistent-harm condition. We further prove an information-theoretic impossibility result: no gate that observes only the generated transcript can improve uniformly over text-indistinguishable environments, whereas an environment-grounded gate can. Motivated by this separation, we introduce Stochastic Reflective Memory Ascent (SRMA), which accepts a candidate memory only after a grounded evaluation risk strictly decreases. Under calibration and non-degenerate corrective mass, SRMA converges exactly, geometrically or polynomially; matching constructions show that both rate regimes are order-tight. We also provide confidence gating for stochastic evaluation and re-anchoring guarantees for piecewise-stationary environments. Experiments instantiate these objects with environment-grounded metrics and test the predicted coordination and drift laws. On 500 SWE-bench instances, the complete Kimi-based system resolves 72.2% versus a 70.8% public mini-SWE-agent reference. Code: https://github.com/YihangChen9/Bilevel-Coordinated-Reflection