LoopArena: 루프 엔지니어링을 위한 런타임 컨트롤러로서의 모델 벤치마킹

초록

루프 엔지니어링은 코딩 에이전트를 중심으로 개발 작업을 구성하는 실무 방식으로 떠오르고 있다. 실무자들은 모든 프롬프트를 수작업으로 작성하는 대신, 진행 상황을 모니터링하고 작업을 할당하며 검사를 실행하고 에이전트가 다음에 수행할 작업을 결정하는 루프를 설계한다. 유능한 코딩 에이전트가 있더라도, 루프는 오래된 진행 기록을 신뢰하거나, 필요한 검증을 건너뛰거나, 예산을 잘못된 방향으로 사용하거나, 작업을 안전하게 제출할 수 있기 전에 중단할 수 있다. 그러나 한 번의 종단 간 실행의 최종 결과만으로는 성공이나 실패가 루프의 지침 때문인지, 작업을 수행하는 코딩 에이전트의 능력 때문인지 알 수 없다. 우리는 한 모델이 별도의 코딩 에이전트를 장기 실행 작업에서 얼마나 잘 이끌 수 있는지 평가하는 벤치마크인 LoopArena를 소개한다. 평가 대상 모델은 컨트롤러(Controller)로서, 각 코딩 라운드가 끝난 후 실행의 구조화된 요약을 받아 다음에 수행하거나 검증할 작업을 별도의 고정 코딩 에이전트인 워커(Worker)에게 지시하거나, 중단 여부를 결정한다. LoopArena는 실행 범위와 비용이 다른 세 가지 상호 보완적 설정에서 이러한 능력을 평가한다. 유형 I은 평가 시점에 워커를 실행하지 않고 실행 검증된 질문을 통해 다음 단계의 루프 계약(Loop Contract) 선택을 채점한다. 유형 II는 전체 작업 중 선택된 일부에 대해 반복적인 제어를 실행하고, 유형 III는 원래 상태의 전체 작업을 짝지어 평가한다. 전체 작업에서 관찰된 최고 엄격 성공률은 24.69\%로, 장기 지평 루프 제어에는 상당한 개선 여지가 남아 있다. 컨트롤러 전반에 걸쳐 추정 추론 비용의 짝별 감소율은 평균 64.4\%이며, 유형 II는 주요 Core 기준에서 유사한 순위를 산출한다(Spearman's \(ρ=0.9747\)). 우리는 벤치마크 데이터와 평가 코드를 https://github.com/AMAP-ML/LoopArena 에서 공개한다.

English

Loop Engineering is emerging as a practice for organizing development work around coding agents. Instead of writing each prompt by hand, practitioners design loops that monitor progress, assign work, run checks, and decide what the agent should do next. Even with a capable coding agent, a loop may trust a stale progress note, skip needed verification, spend its budget in the wrong direction, or stop before the task is safe to submit. Yet the final outcome of one end-to-end run cannot tell whether success or failure reflects the loop's guidance or the coding agent's ability to carry out the task. We introduce LoopArena, a benchmark for evaluating how well one model can guide a separate coding agent through a long-running task. The model under evaluation is the Controller: after each coding round, it receives a structured summary of the run and instructs a separate, fixed coding agent, the Worker, on what to do or verify next, or decides whether to stop. LoopArena evaluates this ability in three complementary settings that differ in execution scope and cost. Type I scores next-step Loop Contract selection through execution-validated questions without running the Worker at evaluation time. Type II executes repeated control over a selected slice of a full task, while Type III evaluates the paired full task from its original state. On full tasks, the best observed Strict Success Rate is 24.69\%, leaving substantial room for improvement in long-horizon loop control. Across Controllers, the paired reduction in estimated inference cost averages 64.4\%, and Type II produces a similar ordering under the main Core criterion (Spearman's \(ρ=0.9747\)). We release the benchmark data and evaluation code at https://github.com/AMAP-ML/LoopArena .

LoopArena: 루프 엔지니어링을 위한 런타임 컨트롤러로서의 모델 벤치마킹

LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering

초록

Support