AutoWorldModel-Bench: 自動化されたワールドモデル研究のための状態中心ベンチマーク

要旨

ワールドモデリングは未解決の分野である。アーキテクチャ、学習目的、状態表現は複雑に相互作用し、環境を問わず支配的な単一のレシピは存在しない。この特性は、自律的研究者として機能するAIコーディングエージェントにとって理想的なテストベッドとなる。というのも、現在のエージェントベンチマークを支配する仕様への工学的実装タスクとは異なり、この設定では改善の方向性が事前に指定されないためである。我々はAutoWorldModel-Benchを導入する。これはクローズドループ型ベンチマークであり、最先端のコーディングエージェントが、固定の計算予算のもとで提供されたワールドモデルのスターターを自律的に改善する。本ベンチマークは、統一的構造化状態表現——各ゲームから抽出したグラウンドトゥルースのエンティティ状態を共有テンソル形式で消費する方式——のもとで8つのゲーム環境を対象とし、これによりダイナミクスモデリングを知覚から分離し、実行あたり数分の反復を可能にする。64セッションにわたり、Codex-5.4とClaude Opus 4.6は63セッションでスターターを改善した。セッションの91%において、勝利をもたらす編集はハイパーパラメータの調整ではなく、新たな目的関数、表現、ロールアウト手順、またはアーキテクチャ変更といった非自明な研究スタイルの修正であった。本ベンチマークは、最先端のコーディングエージェントを、仕様への工学的実装ではなく、開かれた研究において評価できる設定を提供する。

English

World modeling is an unsettled field: architectures, training objectives, and state representations interact in complex ways, and no single recipe dominates across environments. This makes it an ideal testbed for AI coding agents acting as autonomous researchers--a setting in which the improvement direction is not specified in advance, unlike the engineering-to-spec tasks that dominate current agent benchmarks. We introduce AutoWorldModel-Bench, a closed-loop benchmark in which frontier coding agents autonomously improve a provided world-model starter under a fixed compute budget. The benchmark spans eight game environments under a unified structured-state representation--ground-truth entity state extracted from each game and consumed through a shared tensor format--which isolates dynamics modeling from perception and enables minutes-per-run iteration. Across 64 sessions, Codex-5.4 and Claude Opus 4.6 improve their starter on 63; in 91% of sessions the winning edit is a non-trivial research-style modification--a new objective, representation, rollout procedure, or architectural change--rather than a hyperparameter tweak. Our benchmark offers a setting in which frontier coding agents can be evaluated on open-ended research rather than engineering-to-spec problems.