FM-Bench: 競合エージェントを伴う長期マネジメントのためのベンチマーク

要旨

大規模言語モデルエージェントは現在、限定的なタスクを確実に実行できる。しかし、行動が累積的な結果をもたらし、環境がその選択に応答するような、長いホライズンにわたる効果的な意思決定を維持できるかどうかは、依然としてほとんど測定されていない。FM-Bench（Football Management Benchmark）はこれを測定する。LLMエージェントは、26のツールと約340〜400の意思決定ポイントを通じて、ゲーム内20年間サッカークラブを運営する。すべてのライバルと同じ予算でスカッドを編成し、選手を取引し、契約を交渉し、施設とユースに投資し、先発メンバーを設定し、解任し得る取締役会に対して説明責任を負う。一方、決定論的エンジンが毎年の結果を1つの最終スコアに累積し、そこにはLLM判定者も人間の評価者も存在しない。ソロトラックは15のフロンティアモデルのそれぞれを、固定されたスクリプト世界と対戦させる。アリーナは、同じモデル群をスクリプトアンカーとともに、1つの共有された20年世界に配置する。我々の知る限り、この規模での初の直接対決評価である。我々はスコアの背後にある6つの行動能力を測定する。3つのシードにわたり、15のモデルすべてがすべてのホライズンを完遂する一方、ブラインドのスクリプトベースラインはそのホライズンの大半で消滅する。claude-fable-5は平均スコアにおいてソロボードとアリーナの双方で首位となるが、それでもアリーナのタイトルは10のモデルの間で移り変わる。スケール、価格、ベンダーのいずれも順位を予測しない。順位はホライズンの終盤になってようやく確定し、最高の初回プレイの人間はモデルボードの最下位に位置するだけである。モデル間の差を生むのは計算量ではなく、マネジメント行動である。高得点のモデルは、終盤になると回収の遅い投資を減らし、現金を遊休させずに投資し続け、期限のかなり前から契約更新を開始する。一方、トークン消費は何も予測しない。どのモデルも、何百もの拒否された入札から市場の隠れた価格を学習しない。また、自己管理メモリは、増え続けるだけのアーカイブか、毎シーズン書き換えられるプランという、2つの対照的な様式で失敗する。コードはhttps://github.com/Analogy-AI/fm-benchで入手できる。

English

Language model agents now execute bounded tasks reliably. Whether they can sustain effective decision-making over long horizons, where actions have cumulative consequences and the environment responds to their choices, remains largely unmeasured. FM-Bench (Football Management Benchmark) measures this. An LLM agent runs a football club for 20 in-game years through 26 tools and roughly 340 to 400 decision stops. It drafts a squad on the same budget as every rival, trades players, negotiates contracts, invests in facilities and youth, sets lineups, and answers to a board that can fire it, while a deterministic engine accumulates every year into one final score with no LLM judge or human rater. The solo track plays each of 15 frontier models against a frozen scripted world, and the Arena places the same models plus a scripted anchor in one shared 20-year world; to our knowledge, the first head-to-head evaluation at this scale. We measure six behavioral capabilities behind the score. Across three seeds, all 15 models complete every horizon while the blind scripted baselines die out in most of theirs, and claude-fable-5 tops the solo board on mean score and the Arena, where the title nonetheless rotates among ten models. Neither scale, price, nor vendor predicts the order; the order settles only late in the horizon, and the best first-play human lands only at the bottom of the model board. What separates the models is managerial behavior rather than computation. Higher-scoring models reduce slow-payoff investment near the end, keep cash invested rather than idle, and open renewals well before the deadline, while token spend predicts nothing. No model learns the market's hidden prices from hundreds of rejected bids, and self-managed memory fails in two opposite modes: an archive that only grows or a plan rewritten every season. Code is available at https://github.com/Analogy-AI/fm-bench.