PACE-Bench: 動的環境におけるコード進化による物理適応のベンチマーキング

要旨

自己進化エージェントは相互作用経験から将来の行動を改善するが、既存の評価は通常、固定された実行条件下での最適化に留まり、条件が変化した後の回復をテストしない。このギャップに対処するため、我々はPACE-Bench（Physics Adaptation via Code Evolution）を導入する。これは6つの物理領域にわたる144のソースからターゲットへの適応ペアからなる、シミュレータ基盤のベンチマークである。各ペアは、同一の目標とインターフェースを持つソース環境を、変異したターゲット環境にリンクさせる。ソースで成功するコード駆動設計はターゲットでは失敗し、エージェントは限られた試行予算内で診断用サンドボックスフィードバックを用いて、それを動作するターゲット設計へと反復的に適応させなければならない。我々は4つのパラダイムから10の自己進化手法を比較する。ベンチマークは飽和には程遠い。Reflexion + Qwen3-14Bは全ベンチマークペアの35.9%しか成功せず、GPT-5.5は完全な予算の下でStaticsサブセットの66.7%を解くに留まる。これらの結果は総合すると、シミュレータに基づく反省は検証されていない自己修正よりも信頼性が高く、一方でメモリはエージェントを初期設計に固定し、広範な木探索は収束せずに探索することを示している。正確な物理的変化を明らかにしても性能の上限は上がらず、中心的なボトルネックはパラメータ推定ではなくメカニズムの再設計であることを示している。データとコードは https://github.com/thunlp/PACE-Bench で入手可能である。

English

Self-evolving agents improve future behavior from interaction experience, yet existing evaluations typically optimize under fixed execution conditions and do not test recovery after those conditions change. To address this gap, we introduce PACE-Bench (Physics Adaptation via Code Evolution), a simulator-grounded benchmark of 144 source-to-target adaptation pairs across six physics domains. Each pair links a source environment to a mutated target environment with the same goal and interface. A code-driven design that succeeds in the source fails in the target, where agents must iteratively adapt it into a working target design using diagnostic sandbox feedback within a limited attempt budget. We compare ten self-evolving methods from four paradigms. The benchmark remains far from saturated: Reflexion + Qwen3-14B succeeds on only 35.9\% of full-benchmark pairs, while GPT-5.5 solves 66.7\% of the Statics subset under the full budget. Together, these results show that simulator-grounded reflection is more reliable than unverified self-revision, while memory anchors agents to early designs and broad tree search explores without converging. Even revealing exact physical changes does not raise the performance ceiling, pointing to mechanism redesign rather than parameter inference as the central bottleneck. Data and code are available at https://github.com/thunlp/PACE-Bench.