WorldCupArena：サッカー予測における言語モデルと深層研究エージェントのきめ細かい評価

要旨

キックオフ前のサッカーの試合結果を予測するには、過去の結果を知るだけでは不十分である。モデルは変化する情報を利用し、答えが得られる前に明確な予測を立てる必要がある。我々は、言語モデルと深層リサーチエージェントのための動的ベンチマークであるWorldCupArenaを紹介する。2026年のFIFAワールドカップが最初の評価対象であり、同じプロセスを将来のリーグやカップ戦にも再利用できる。各試合の前に、モデルは共通のエビデンスパッケージを受け取るか、自ら情報を検索する。そして、結果とスコア、有力選手とイベント、試合統計、大会の結果を予測する。試合後、これらの予測は記録された結果と比較される。我々は、結果の正解率、正確なスコアの正解率、および予測スコアが正確ではないが近い場合に一定の点数を与えるスコアラインスコアを、他の予測タスクのスコアとともに報告する。104試合と13システムにわたって、結果の正解率が同程度のモデルでも、詳細な予測ではより明確な差が見られる。賭け市場や人間のファンのベースラインと比較して、最良のシステムは結果と正確なスコアの正解率ではわずかな向上しか示さないが、スコアラインではより明確な向上を示す。新しいスケジュールは開始時に追加できるため、ベンチマークはすでに知られている結果を使用せずに将来のモデルを評価することができる。コード、プロンプト、予測、評価スクリプトは https://github.com/wzk1015/WorldCupArena でオープンソース化されている。

English

Predicting a football match before kickoff requires more than knowing past results: a model must use changing information and make a clear prediction before the answer is available. We present WorldCupArena, a dynamic benchmark for language models and deep-research agents. The 2026 FIFA World Cup is its first evaluation, and the same process can be reused for future leagues and cups. Before each match, a model either receives a common evidence package or searches for information itself. It predicts the result and score, likely players and events, match statistics, and the outcome of the competition. After the match, these predictions are compared with the recorded result. We report result accuracy, exact-score accuracy, and a scoreline score that gives some credit when a predicted score is close but not exact, together with scores for the other prediction tasks. Across 104 matches and 13 systems, models with similar result accuracy differ more clearly on detailed predictions. Compared with betting-market and human-fan baselines, the best system shows only small gains in result and exact-score accuracy, but a clearer gain in Scoreline. New schedules can be added as they begin, allowing the benchmark to evaluate future models without using outcomes that are already known. Code, prompts, predictions, and evaluation scripts are open sourced at https://github.com/wzk1015/WorldCupArena.