AutoWorldModel-Bench: 자동화된 월드모델 연구를 위한 상태 중심 벤치마크

초록

세계 모델링(World modeling)은 아직 정립되지 않은 분야이다. 아키텍처, 학습 목표, 상태 표현이 복잡한 방식으로 상호작용하며, 모든 환경을 지배하는 단일 레시피는 존재하지 않는다. 이러한 특성은 자율 연구자로 작동하는 AI 코딩 에이전트에게 이상적인 테스트베드가 된다. 이 설정에서는 현재 에이전트 벤치마크를 지배하는 사양 기반 엔지니어링 과제와 달리 개선 방향이 사전에 지정되지 않기 때문이다. 우리는 AutoWorldModel-Bench를 제안한다. 이는 최첨단 코딩 에이전트가 고정된 계산 예산 하에서 제공된 세계 모델 스타터를 자율적으로 개선하는 폐루프(closed-loop) 벤치마크이다. 이 벤치마크는 통합된 구조화 상태 표현(structured-state representation)—각 게임에서 추출된 실제(ground-truth) 엔티티 상태를 공유 텐서 형식으로 소비하는 방식—을 기반으로 8개의 게임 환경을 포괄하며, 이를 통해 역학(dynamics) 모델링을 지각(perception)으로부터 분리하고 실행당 수 분이면 반복을 완료할 수 있다. 64개 세션에서 Codex-5.4와 Claude Opus 4.6은 63개 세션에서 스타터를 개선했으며, 세션의 91%에서 승리한 수정은 하이퍼파라미터 조정이 아닌 새로운 목표, 표현, 롤아웃 절차, 또는 아키텍처 변경과 같은 사소하지 않은 연구 스타일의 수정이었다. 우리의 벤치마크는 최첨단 코딩 에이전트가 사양 기반 엔지니어링 문제가 아닌 개방형 연구(open-ended research)에 대해 평가될 수 있는 환경을 제공한다.

English

World modeling is an unsettled field: architectures, training objectives, and state representations interact in complex ways, and no single recipe dominates across environments. This makes it an ideal testbed for AI coding agents acting as autonomous researchers--a setting in which the improvement direction is not specified in advance, unlike the engineering-to-spec tasks that dominate current agent benchmarks. We introduce AutoWorldModel-Bench, a closed-loop benchmark in which frontier coding agents autonomously improve a provided world-model starter under a fixed compute budget. The benchmark spans eight game environments under a unified structured-state representation--ground-truth entity state extracted from each game and consumed through a shared tensor format--which isolates dynamics modeling from perception and enables minutes-per-run iteration. Across 64 sessions, Codex-5.4 and Claude Opus 4.6 improve their starter on 63; in 91% of sessions the winning edit is a non-trivial research-style modification--a new objective, representation, rollout procedure, or architectural change--rather than a hyperparameter tweak. Our benchmark offers a setting in which frontier coding agents can be evaluated on open-ended research rather than engineering-to-spec problems.