AgentLens : Révéler le problème du passage chanceux dans l’évaluation des agents SWE

Résumé

L'évaluation des agents de génie logiciel (SWE) est dominée par un signal binaire : la réussite ou non du patch final aux tests. Cette vision uniquement axée sur le résultat traite une solution fondée sur des principes et un processus chaotique d'essais et d'erreurs comme équivalents. Nous montrons que cette équivalence est empiriquement fausse. Nous évaluons 2 614 trajectoires OpenHands issues de huit backends de modèles sur 60 tâches SWE-bench Validées. Parmi celles-ci, 47 disposent d'un nombre suffisant de trajectoires réussies pour construire des références de processus au niveau de la tâche, donnant un sous-ensemble d'évaluation de 1 815 trajectoires. Parmi les trajectoires réussies dans ce sous-ensemble, 10,7 % présentent un comportement que nous appelons « Réussite Chanceuse » (Lucky Pass) : cycles de régression, tentatives répétées aveugles, absence de vérification, ou exploration, implémentation et vérification temporellement désordonnées. Nous présentons AgentLens, un cadre pour l'évaluation au niveau du processus des trajectoires des agents SWE, et nous publions AgentLens-Bench, un ensemble de données de 1 815 trajectoires annotées avec des scores de qualité, des signaux de gaspillage, des points de divergence et 47 références de type « Prefix Tree Acceptor » (PTA) au niveau de la tâche. AgentLens construit des références PTA en fusionnant plusieurs solutions réussies pour une même tâche, et utilise un étiqueteur d'intention contextuel pour assigner les actions à Exploration, Implémentation, Vérification ou Orchestration en fonction de l'historique de la trajectoire plutôt que de la seule identité de l'outil. Sur AgentLens-Bench, le score de qualité sépare les trajectoires réussies en trois catégories : Lucky (chanceuses), Solid (solides) et Ideal (idéales), et décompose en outre les Réussites Chanceuses en cinq mécanismes récurrents. Parmi les huit backends de modèles, les taux de « Lucky » vont de 0,5 % à 23,2 %, et certains modèles se déplacent jusqu'à cinq positions dans le classement lorsqu'ils sont classés par score de qualité plutôt que par taux de réussite. Nous publions le dépôt de projet anonymisé, comprenant l'ensemble de données AgentLens-Bench et le SDK AgentLens, à l'adresse https://github.com/microsoft/code-agent-state-trajectories/.

English

Evaluation of software engineering (SWE) agents is dominated by a binary signal: whether the final patch passes the tests. This outcome-only view treats a principled solution and a chaotic trial-and-error process as equivalent. We show that this equivalence is empirically false. We evaluate 2,614 OpenHands trajectories from eight model backends on 60 SWE-bench Verified tasks. Of these, 47 have enough passing trajectories to construct task-level process references, yielding a 1,815-trajectory evaluation subset. Among passing trajectories in this subset, 10.7% exhibit behavior we call a Lucky Pass: regression cycles, blind retries, missing verification, or temporally disordered exploration, implementation, and verification. We introduce AgentLens, a framework for process-level assessment of SWE-agent trajectories, and release AgentLens-Bench, a dataset of 1,815 trajectories annotated with quality scores, waste signals, divergence points, and 47 task-level Prefix Tree Acceptor (PTA) references. AgentLens builds PTA references by merging multiple passing solutions for the same task, and uses a context-sensitive intent labeler to assign actions to Exploration, Implementation, Verification, or Orchestration based on trajectory history rather than tool identity alone. On AgentLens-Bench, the quality score separates passing trajectories into Lucky, Solid, and Ideal tiers and further decomposes Lucky Passes into five recurring mechanisms. Across the eight model backends, Lucky rates range from 0.5% to 23.2%, and some models move by as many as five rank positions when ranked by quality score instead of pass rate. We release the anonymized project repository, including the AgentLens-Bench dataset and AgentLens SDK, at https://github.com/microsoft/code-agent-state-trajectories/.