SWE-CI: Оценка возможностей агентов по поддержке кодовых баз с помощью непрерывной интеграции

SWE-CI: Evaluating Agent Capabilities in Maintaining Codebases via Continuous Integration

March 4, 2026

Авторы: Jialong Chen, Xander Xu, Hu Wei, Chuan Chen, Bing Zhao

cs.AI

Аннотация

Агенты, основанные на больших языковых моделях (LLM), продемонстрировали высокие возможности в автоматизации задач разработки программного обеспечения, таких как статическое исправление ошибок, что подтверждается бенчмарками вроде SWE-bench. Однако в реальном мире разработка зрелого программного обеспечения обычно основана на сложных изменениях требований и долгосрочных итерациях функциональности — процесс, который статические одношаговые парадигмы исправления не охватывают. Чтобы сократить этот разрыв, мы предлагаем SWE-CI — первый бенчмарк на уровне репозитория, построенный на цикле непрерывной интеграции (CI), который направлен на смещение парадигмы оценки генерации кода со статической, краткосрочной функциональной корректности в сторону динамической, долгосрочной сопровождаемости. Бенчмарк включает 100 задач, каждая из которых в среднем соответствует истории эволюции протяженностью 233 дня и 71 последовательному коммиту в реальном репозитории кода. SWE-CI требует от агентов системного решения этих задач в ходе десятков циклов анализа и кодирования. SWE-CI дает ценное представление о том, насколько хорошо агенты могут поддерживать качество кода в процессе долгосрочной эволюции.

English

Large language model (LLM)-powered agents have demonstrated strong capabilities in automating software engineering tasks such as static bug fixing, as evidenced by benchmarks like SWE-bench. However, in the real world, the development of mature software is typically predicated on complex requirement changes and long-term feature iterations -- a process that static, one-shot repair paradigms fail to capture. To bridge this gap, we propose SWE-CI, the first repository-level benchmark built upon the Continuous Integration loop, aiming to shift the evaluation paradigm for code generation from static, short-term functional correctness toward dynamic, long-term maintainability. The benchmark comprises 100 tasks, each corresponding on average to an evolution history spanning 233 days and 71 consecutive commits in a real-world code repository. SWE-CI requires agents to systematically resolve these tasks through dozens of rounds of analysis and coding iterations. SWE-CI provides valuable insights into how well agents can sustain code quality throughout long-term evolution.