PACE-Bench: 동적 환경에서 코드 진화를 통한 물리 적응 벤치마킹

초록

자기 진화 에이전트는 상호작용 경험을 통해 향후 행동을 개선하지만, 기존 평가는 일반적으로 고정된 실행 조건에서 최적화만 수행할 뿐 그러한 조건이 변경된 이후의 회복 능력은 테스트하지 않는다. 이러한 공백을 해소하기 위해, 우리는 PACE-Bench(코드 진화를 통한 물리 적응, Physics Adaptation via Code Evolution)를 소개한다. 이는 6개 물리 도메인에 걸친 144개의 소스-타깃 적응 쌍으로 구성된 시뮬레이터 기반 벤치마크이다. 각 쌍은 소스 환경을 동일한 목표와 인터페이스를 가진 변이된 타깃 환경에 연결한다. 소스에서 성공하는 코드 기반 설계는 타깃에서 실패하며, 에이전트는 제한된 시도 예산 내에서 진단적 샌드박스 피드백을 사용하여 해당 설계를 반복적으로 작동 가능한 타깃 설계로 적응시켜야 한다. 우리는 네 가지 패러다임에서 비롯된 열 가지 자기 진화 방법을 비교한다. 벤치마크는 포화 상태와는 거리가 멀다. Reflexion + Qwen3-14B는 전체 벤치마크 쌍 중 35.9%에서만 성공하는 반면, GPT-5.5는 전체 예산 하에서 Statics 하위 집합의 66.7%를 해결한다. 종합하면, 이러한 결과는 시뮬레이터에 기반한 반성이 검증되지 않은 자기 수정보다 더 신뢰할 수 있음을 보여주는 한편, 메모리는 에이전트를 초기 설계에 고정시키고 광범위한 트리 탐색은 수렴하지 않은 채 탐색만 수행함을 보여준다. 정확한 물리적 변화를 공개하더라도 성능 상한이 높아지지 않으며, 이는 핵심 병목이 파라미터 추론이 아니라 메커니즘 재설계에 있음을 시사한다. 데이터와 코드는 https://github.com/thunlp/PACE-Bench에서 이용할 수 있다.

English

Self-evolving agents improve future behavior from interaction experience, yet existing evaluations typically optimize under fixed execution conditions and do not test recovery after those conditions change. To address this gap, we introduce PACE-Bench (Physics Adaptation via Code Evolution), a simulator-grounded benchmark of 144 source-to-target adaptation pairs across six physics domains. Each pair links a source environment to a mutated target environment with the same goal and interface. A code-driven design that succeeds in the source fails in the target, where agents must iteratively adapt it into a working target design using diagnostic sandbox feedback within a limited attempt budget. We compare ten self-evolving methods from four paradigms. The benchmark remains far from saturated: Reflexion + Qwen3-14B succeeds on only 35.9\% of full-benchmark pairs, while GPT-5.5 solves 66.7\% of the Statics subset under the full budget. Together, these results show that simulator-grounded reflection is more reliable than unverified self-revision, while memory anchors agents to early designs and broad tree search explores without converging. Even revealing exact physical changes does not raise the performance ceiling, pointing to mechanism redesign rather than parameter inference as the central bottleneck. Data and code are available at https://github.com/thunlp/PACE-Bench.