SWE-Bench ProMax: 대규모 다국어 코드 리팩토링을 위한 에이전트 벤치마킹

초록

AI 코딩 에이전트가 점차 더 복잡하고 장기적인 소프트웨어 엔지니어링 작업을 맡게 되면서, 기존 벤치마크는 빠르게 포화 상태에 이르렀고 그 평가 품질은 심각한 정밀 조사를 받고 있다. 최근 감사에서는 SWE-bench Verified의 미해결 인스턴스 중 약 60%가 결함 있는 테스트를 포함하고 있음이 밝혀졌는데, 이는 올바른 해결책을 거부하는 지나치게 좁은 테스트이거나 명시되지 않은 요구사항을 검사하는 지나치게 넓은 테스트이다. 또한 최첨단 모델이 훈련 데이터의 골드 패치를 문자 그대로 재현할 수 있음도 확인되었다. 코드 리팩토링은 여러 파일에 걸쳐 상호 조정되고 동작을 보존하는 변경을 요구하므로 에이전트 능력을 평가하는 훨씬 더 어렵고 현실적인 시험이 되지만, 현재 벤치마크에서는 충분히 다루어지지 않는다. 이에 우리는 7개 프로그래밍 언어(Python, Java, TypeScript, Go, C, C++, Rust)의 실제 커밋에서 추출한 170개 인스턴스로 구성된, 전문가 선별 다국어 코드 리팩토링 벤치마크인 SWE-Bench ProMax를 소개한다. 모든 인스턴스는 기존 벤치마크에서 확인된 품질 문제를 직접 해결하는 엄격한 다단계 선별 과정을 거친다. 이슈 설명은 정확하고 모호함이 없는 사양을 제공하기 위해 처음부터 다시 작성되며, 테스트 스위트는 지나치게 좁거나 넓은 테스트를 제거하기 위해 수동으로 검토된다. 복잡성이 불충분하거나 파일 간 범위가 제한적인 작업은 걸러내어, 인스턴스당 평균 11.4개의 수정된 파일과 261.6줄의 코드를 포함하는 도전적이고 대규모의 리팩토링 작업 벤치마크를 구축하였으며, 이는 기존 벤치마크의 규모를 크게 초과한다. 두 가지 에이전트 스캐폴드에서 최첨단 모델을 실험한 결과, 최고 성능 모델이 41.2%의 해결률만을 달성하여 SWE-Bench ProMax가 현재 AI 코딩 에이전트에게 의미 있고 포화되지 않은 도전 과제를 제시함을 확인한다. 본 벤치마크는 https://huggingface.co/datasets/swe-bench-promax/SWE-Bench-ProMax에서 확인할 수 있다.

English

As AI coding agents take on increasingly complex, long-horizon software engineering tasks, existing benchmarks are rapidly saturating and their evaluation quality has come under serious scrutiny: a recent audit found that nearly 60% of unsolved SWE-bench Verified instances contain flawed tests -- either overly narrow tests that reject correct solutions or overly broad tests that check unstated requirements -- and that frontier models can verbatim reproduce gold patches from training data. Code refactoring, which requires coordinated, behavior-preserving changes across many files, offers a substantially harder and more realistic test of agent capability, yet remains underserved by current benchmarks. We introduce SWE-Bench ProMax, an expert-curated, multilingual code refactoring benchmark of 170 instances drawn from real commits across seven programming languages (Python, Java, TypeScript, Go, C, C++, and Rust). Every instance undergoes rigorous, multi-stage curation that directly addresses the quality problems identified in prior benchmarks: issue descriptions are rewritten from scratch to provide precise, unambiguous specifications, and test suites are manually reviewed to remove overly narrow and overly broad tests. Tasks with insufficient complexity or limited cross-file scope are filtered out, yielding a benchmark of challenging, large-scale refactoring tasks that average 11.4 modified files and 261.6 lines of code per instance, substantially exceeding the scale of existing benchmarks. Experiments with frontier models under two agent scaffolds show that the best model achieves only 41.2% resolve rate, confirming that SWE-Bench ProMax presents a meaningful and unsaturated challenge for current AI coding agents. Our benchmark is available at https://huggingface.co/datasets/swe-bench-promax/SWE-Bench-ProMax.