SWE-Together: Evaluación de Agentes de Programación en Sesiones de Usuario Interactivas

Resumen

La mayoría de los benchmarks para agentes de codificación son estáticos: un agente recibe una descripción completa de la tarea de antemano y se evalúa únicamente por su código final. La asistencia real en codificación es interactiva, ya que los usuarios aclaran objetivos, agregan restricciones y corrigen errores a lo largo de múltiples rondas. Presentamos SWE-Together, un benchmark de múltiples rondas reconstruido a partir de sesiones reales de codificación entre usuarios y agentes. Para garantizar la verificabilidad de las interacciones reales, seleccionamos 109 tareas a nivel de repositorio de 11,260 sesiones registradas, escogiendo aquellas con estados de repositorio recuperables, objetivos de usuario claros y resultados observables. Para reproducir estas interacciones en diferentes agentes, construimos un simulador de usuario reactivo basado en LLM que preserva las intenciones originales de los usuarios y proporciona retroalimentación cuando el progreso del agente de codificación lo requiere. Para evaluar a los agentes como colaboradores, medimos tanto la corrección final del repositorio como el número de rondas de retroalimentación correctiva necesarias durante la interacción. Experimentos con agentes de codificación de vanguardia muestran que los agentes más robustos generalmente alcanzan tasas de éxito final más altas y requieren menos intervenciones, lo que sugiere una mejora en la experiencia del usuario.

English

Most coding-agent benchmarks are static: an agent receives a complete task description up front and is judged only by its final code. Real coding assistance is interactive, with users clarifying goals, adding constraints, and correcting mistakes over multiple turns. We introduce SWE-Together, a multi-turn benchmark reconstructed from real user-agent coding sessions. To make real interactions verifiable, we curate 109 repository-level tasks from 11,260 recorded sessions, selecting sessions with recoverable repository states, clear user goals, and observable outcomes. To replay these interactions across agents, we build a reactive LLM-based user simulator that preserves the original users' intents and provides feedback when the coding agent's progress requires it. To evaluate agents as collaborators, we measure both final repository correctness and the number of corrective feedback turns required during the interaction. Experiments with frontier coding agents show that stronger agents generally achieve higher final success rates while requiring fewer interventions, suggesting an improved user experience.