AgentLens: Revelando o Problema do Passe da Sorte na Avaliação de SWE-Agent

Resumo

A avaliação de agentes de engenharia de software (SWE) é dominada por um sinal binário: se o patch final passa nos testes. Essa visão exclusiva dos resultados trata uma solução baseada em princípios e um processo caótico de tentativa e erro como equivalentes. Mostramos que essa equivalência é empiricamente falsa. Avaliamos 2.614 trajetórias do OpenHands provenientes de oito backends de modelos em 60 tarefas do SWE-bench Verified. Destas, 47 possuem trajetórias bem-sucedidas suficientes para construir referências de processo em nível de tarefa, resultando em um subconjunto de avaliação de 1.815 trajetórias. Entre as trajetórias bem-sucedidas desse subconjunto, 10,7% exibem um comportamento que denominamos Passagem de Sorte (Lucky Pass): ciclos de regressão, tentativas cegas, falta de verificação ou exploração, implementação e verificação temporalmente desordenadas. Apresentamos o AgentLens, uma estrutura para avaliação em nível de processo de trajetórias de agentes SWE, e disponibilizamos o AgentLens-Bench, um conjunto de dados de 1.815 trajetórias anotadas com pontuações de qualidade, sinais de desperdício, pontos de divergência e 47 referências de Acetor de Árvore de Prefixos (PTA) em nível de tarefa. O AgentLens constrói referências PTA mesclando múltiplas soluções bem-sucedidas para a mesma tarefa e utiliza um rotulador de intenções sensível ao contexto para atribuir ações a Exploração, Implementação, Verificação ou Orquestração com base no histórico da trajetória, e não apenas na identidade da ferramenta. No AgentLens-Bench, a pontuação de qualidade separa as trajetórias bem-sucedidas em níveis Sortudo (Lucky), Sólido (Solid) e Ideal (Ideal), e ainda decompõe as Passagens de Sorte em cinco mecanismos recorrentes. Entre os oito backends de modelos, as taxas de sorte variam de 0,5% a 23,2%, e alguns modelos se movem em até cinco posições no ranking quando classificados pela pontuação de qualidade em vez da taxa de aprovação. Disponibilizamos o repositório anonimizado do projeto, incluindo o conjunto de dados AgentLens-Bench e o SDK do AgentLens, em https://github.com/microsoft/code-agent-state-trajectories/.

English

Evaluation of software engineering (SWE) agents is dominated by a binary signal: whether the final patch passes the tests. This outcome-only view treats a principled solution and a chaotic trial-and-error process as equivalent. We show that this equivalence is empirically false. We evaluate 2,614 OpenHands trajectories from eight model backends on 60 SWE-bench Verified tasks. Of these, 47 have enough passing trajectories to construct task-level process references, yielding a 1,815-trajectory evaluation subset. Among passing trajectories in this subset, 10.7% exhibit behavior we call a Lucky Pass: regression cycles, blind retries, missing verification, or temporally disordered exploration, implementation, and verification. We introduce AgentLens, a framework for process-level assessment of SWE-agent trajectories, and release AgentLens-Bench, a dataset of 1,815 trajectories annotated with quality scores, waste signals, divergence points, and 47 task-level Prefix Tree Acceptor (PTA) references. AgentLens builds PTA references by merging multiple passing solutions for the same task, and uses a context-sensitive intent labeler to assign actions to Exploration, Implementation, Verification, or Orchestration based on trajectory history rather than tool identity alone. On AgentLens-Bench, the quality score separates passing trajectories into Lucky, Solid, and Ideal tiers and further decomposes Lucky Passes into five recurring mechanisms. Across the eight model backends, Lucky rates range from 0.5% to 23.2%, and some models move by as many as five rank positions when ranked by quality score instead of pass rate. We release the anonymized project repository, including the AgentLens-Bench dataset and AgentLens SDK, at https://github.com/microsoft/code-agent-state-trajectories/.