SWE-Together: Оценка агентов написания кода в интерактивных пользовательских сессиях

Аннотация

Большинство бенчмарков для агентов, пишущих код, являются статическими: агент получает полное описание задачи заранее и оценивается только по итоговому коду. Реальная помощь в написании кода носит интерактивный характер: пользователи уточняют цели, добавляют ограничения и исправляют ошибки в ходе нескольких раундов взаимодействия. Мы представляем SWE-Together — многопоточный бенчмарк, реконструированный на основе реальных сеансов общения пользователя и агента по написанию кода. Чтобы сделать реальные взаимодействия верифицируемыми, мы отобрали 109 задач на уровне репозиториев из 11 260 записанных сеансов, выбирая те, в которых можно восстановить состояние репозитория, ясны цели пользователя и наблюдаемы результаты. Для воспроизведения этих взаимодействий с разными агентами мы построили реактивный симулятор пользователя на основе языковой модели (LLM), который сохраняет намерения исходных пользователей и предоставляет обратную связь, когда прогресс агента по написанию кода этого требует. Чтобы оценивать агентов как партнёров по сотрудничеству, мы измеряем как итоговую корректность репозитория, так и количество раундов корректирующей обратной связи, потребовавшихся в ходе взаимодействия. Эксперименты с передовыми код-агентами показывают, что более сильные агенты, как правило, достигают более высокой итоговой успешности, требуя при этом меньшего количества вмешательств, что свидетельствует об улучшении пользовательского опыта.

English

Most coding-agent benchmarks are static: an agent receives a complete task description up front and is judged only by its final code. Real coding assistance is interactive, with users clarifying goals, adding constraints, and correcting mistakes over multiple turns. We introduce SWE-Together, a multi-turn benchmark reconstructed from real user-agent coding sessions. To make real interactions verifiable, we curate 109 repository-level tasks from 11,260 recorded sessions, selecting sessions with recoverable repository states, clear user goals, and observable outcomes. To replay these interactions across agents, we build a reactive LLM-based user simulator that preserves the original users' intents and provides feedback when the coding agent's progress requires it. To evaluate agents as collaborators, we measure both final repository correctness and the number of corrective feedback turns required during the interaction. Experiments with frontier coding agents show that stronger agents generally achieve higher final success rates while requiring fewer interventions, suggesting an improved user experience.