AgentLens: 코딩 에이전트 평가를 위한 프로덕션 평가 기반 궤적 검토

초록

저희는 상호작용형 코드 에이전트를 위한 생산 평가 벤치마크인 AgentLens를 제시합니다. 대부분의 코드 에이전트 벤치마크는 실행 결과를 단일 비트(작업 통과 여부)로 축소하지만, 실제로 이 에이전트를 사용하는 사람들은 전체 궤적을 경험합니다. 즉, 에이전트가 지침을 따르고, 도구를 사용하며, 자신의 작업을 검증하고, 실수로부터 회복하며, 그 과정에서 사용자와 대화하는 방식을 포함합니다. AgentLens는 이러한 전체 궤적을 평가합니다. 객관적 검증이 가능한 공식 검증(formal verification)과 LLM이 작성한 궤적 리뷰 및 병렬 비교(side-by-side comparisons)를 결합하여, 각 실행에 대해 점수가 산출된 이유를 설명하는 가독성 있는 설명을 제공합니다. 이는 AgentLens가 단순히 모델 순위를 매기는 것을 넘어, 모델 행동 분석, 자체 에이전트의 연속 버전 비교, 야간 평가 파이프라인에서 제품 회귀(regression) 탐지 등에 유용하게 사용될 수 있게 합니다. 저희는 이 벤치마크를 오픈소스로 https://github.com/agent-lens/agent-lens-bench 에 공개합니다.

English

We present AgentLens, a production-assessed benchmark for interactive code agents. Most code-agent benchmarks reduce a run to a single bit -- did the task pass? -- but the people who actually use these agents experience the entire trajectory: how the agent follows instructions, uses its tools, verifies its own work, recovers from mistakes, and talks to them along the way. AgentLens evaluates that whole trajectory. It pairs formal verification, where an objective check exists, with LLM-written trajectory reviews and side-by-side comparisons, so that each run yields a readable explanation of why the score is what it is. This makes AgentLens useful for more than ranking models: we use it to diagnose model behavior, compare successive versions of our own agent, and catch product regressions in a nightly evaluation pipeline. We release the benchmark as open source at https://github.com/agent-lens/agent-lens-bench.