ScrambleToolBench: 에이전트는 자신의 지도가 다음 단계를 가리킬 때조차도 전수 탐색을 수행한다

초록

개방형 환경에서 강건하게 작동하기 위해, 자율 에이전트는 문서화가 없는 상황에서도 상호작용만을 통해 익숙하지 않은 시스템의 동작을 추론할 수 있어야 한다. 그러나 기존 도구 사용 벤치마크는 정적 환경에서 의미적 도구 스키마를 노출하여, 에이전트가 자율적 발견보다는 사전 지식에 의존할 수 있게 한다. 이러한 한계를 해결하기 위해, 우리는 행동 추론을 고립시켜 평가하도록 설계된 대화형 터미널 벤치마크인 ScrambleToolBench를 소개한다. 이 벤치마크는 의미적 단서를 제거하고 연속적인 작업 커리큘럼을 적용함으로써, 에이전트가 오로지 시행착오 상호작용을 통해 숨겨진 도구 동작을 발견하도록 요구한다. 나아가 이 벤치마크는 매핑 드리프트, 확률적 행동 실패, 시간적 실행 창을 포함한 동적 과제를 도입하여, 에이전트가 환경 변화에 따라 가설을 수정하고 적응할 수 있는지를 평가한다. 최첨단 언어 모델에 대한 평가 결과, 초기 발견의 성공이 강건한 적응으로 이어지지 않음을 확인했다. 매핑 드리프트와 같은 구조적 변화에 직면했을 때, 에이전트는 사이클 추적과 같은 연역적 전략을 사용하지 못하고 신념 관성을 보이거나 전수 탐색에 의존하는 양상을 보였다. 테스트 시 추론을 증가시키는 것은 연역적 복구를 가능하게 하는 대신, 이러한 비용이 큰 무차별 탐색을 증폭시킬 뿐이었다. 지속적 메모리를 에이전트에 장착하면 오류 누적이 줄어들지만, 구조적 변화를 효율적으로 추론하지는 못하는데, 이는 현재 에이전트 추론의 한계를 드러낸다.

English

To operate robustly in open-world environments, autonomous agents should be able to infer the behavior of unfamiliar systems through interaction alone, even in the absence of documentation. However, existing tool-use benchmarks expose semantic tool schemas in static environments, allowing agents to rely on prior knowledge rather than autonomous discovery. To address this limitation, we introduce ScrambleToolBench, an interactive terminal benchmark designed to isolate behavioral reasoning. By removing semantic cues and enforcing a continuous task curriculum, the benchmark requires agents to uncover hidden tool behaviors entirely through trial-and-error interaction. The benchmark further introduces dynamic challenges, including mapping drift, stochastic action failures, and temporal execution windows, to evaluate whether agents can revise and adapt their hypotheses as the environment changes. Our evaluation of state-of-the-art language models reveals that successful initial discovery does not translate into robust adaptation. When faced with structural changes such as mapping drift, agents fail to use deductive strategies such as cycle tracing, and instead exhibit belief inertia or fall back to exhaustive search. Increasing test-time reasoning only amplifies this expensive brute-force search rather than enabling deductive recovery. While equipping agents with persistent memory reduces compounding errors, they remain unable to efficiently infer structural changes, highlighting a gap in current agent reasoning.