AgentLens: Produktionsbewertete Trajektorienüberprüfungen zur Evaluierung von Kodierungsagenten

Zusammenfassung

Wir stellen AgentLens vor, einen produktionsbewerteten Benchmark für interaktive Code-Agenten. Die meisten Code-Agent-Benchmarks reduzieren einen Durchlauf auf ein einzelnes Bit – wurde die Aufgabe bestanden? –, doch die Menschen, die diese Agenten tatsächlich nutzen, erleben die gesamte Trajektorie: wie der Agent Anweisungen befolgt, seine Werkzeuge einsetzt, seine eigene Arbeit verifiziert, Fehler behebt und dabei mit ihnen kommuniziert. AgentLens bewertet diese gesamte Trajektorie. Es kombiniert formale Verifikation, bei der eine objektive Prüfung existiert, mit von LLMs verfassten Trajektorien-Rezensionen und Seiten-an-Seiten-Vergleichen, sodass jeder Durchlauf eine verständliche Erklärung liefert, warum die Bewertung wie ausfällt. Dadurch ist AgentLens mehr als nur ein Tool zum Ranking von Modellen: Wir nutzen es, um Modellverhalten zu diagnostizieren, aufeinanderfolgende Versionen unseres eigenen Agenten zu vergleichen und Produktregressionen in einer nächtlichen Evaluierungspipeline zu erkennen. Wir veröffentlichen den Benchmark als Open Source unter https://github.com/agent-lens/agent-lens-bench.

English

We present AgentLens, a production-assessed benchmark for interactive code agents. Most code-agent benchmarks reduce a run to a single bit -- did the task pass? -- but the people who actually use these agents experience the entire trajectory: how the agent follows instructions, uses its tools, verifies its own work, recovers from mistakes, and talks to them along the way. AgentLens evaluates that whole trajectory. It pairs formal verification, where an objective check exists, with LLM-written trajectory reviews and side-by-side comparisons, so that each run yields a readable explanation of why the score is what it is. This makes AgentLens useful for more than ranking models: we use it to diagnose model behavior, compare successive versions of our own agent, and catch product regressions in a nightly evaluation pipeline. We release the benchmark as open source at https://github.com/agent-lens/agent-lens-bench.