ScrambleToolBench：エージェントは自身の地図が次のステップを示しているにもかかわらず、網羅的に探索する

要旨

オープンワールド環境で堅牢に動作するためには、自律エージェントはドキュメントが存在しない場合でも、相互作用のみを通じて未知のシステムの挙動を推論できなければならない。しかしながら、既存のツール使用ベンチマークは静的な環境で意味的ツールスキーマを公開しており、エージェントは自律的な発見ではなく事前知識に依存することが可能である。この限界に対処するため、我々は行動推論を分離して評価するよう設計された対話型ターミナルベンチマークであるScrambleToolBenchを導入する。このベンチマークは意味的手がかりを除去し、継続的なタスクカリキュラムを課すことで、エージェントに試行錯誤による相互作用のみを通じて隠されたツールの挙動を発見することを要求する。さらに、このベンチマークはマッピングドリフト、確率的アクション失敗、時間的実行ウィンドウといった動的課題を導入し、環境の変化に応じてエージェントが仮説を修正・適応できるかを評価する。最先端の言語モデルを用いた評価の結果、初期発見の成功は堅牢な適応にはつながらないことが明らかになった。マッピングドリフトなどの構造的変化に直面した際、エージェントはサイクル追跡などの演繹的戦略を使用できず、代わりに信念慣性を示すか、網羅的探索に後退する。テスト時推論を強化しても、演繹的回復を可能にするのではなく、この高コストな力任せ探索を増幅するだけである。エージェントに永続的メモリを装備することで累積的なエラーは減少するものの、構造的変化を効率的に推論することは依然として不可能であり、現在のエージェント推論におけるギャップが浮き彫りになっている。

English

To operate robustly in open-world environments, autonomous agents should be able to infer the behavior of unfamiliar systems through interaction alone, even in the absence of documentation. However, existing tool-use benchmarks expose semantic tool schemas in static environments, allowing agents to rely on prior knowledge rather than autonomous discovery. To address this limitation, we introduce ScrambleToolBench, an interactive terminal benchmark designed to isolate behavioral reasoning. By removing semantic cues and enforcing a continuous task curriculum, the benchmark requires agents to uncover hidden tool behaviors entirely through trial-and-error interaction. The benchmark further introduces dynamic challenges, including mapping drift, stochastic action failures, and temporal execution windows, to evaluate whether agents can revise and adapt their hypotheses as the environment changes. Our evaluation of state-of-the-art language models reveals that successful initial discovery does not translate into robust adaptation. When faced with structural changes such as mapping drift, agents fail to use deductive strategies such as cycle tracing, and instead exhibit belief inertia or fall back to exhaustive search. Increasing test-time reasoning only amplifies this expensive brute-force search rather than enabling deductive recovery. While equipping agents with persistent memory reduces compounding errors, they remain unable to efficiently infer structural changes, highlighting a gap in current agent reasoning.