RealSWE: 현실적인 사용자 요청 하에서 코딩 에이전트의 구성적 평가

초록

코딩 에이전트는 현재 SWE-bench 계열 벤치마크로 흔히 평가되는데, 이 벤치마크의 과제는 길고 구조화되어 있으며 정보가 풍부한 선별된 GitHub 이슈로부터 구축된다. 그러나 실제 사용자 요청은 대개 훨씬 짧고 덜 구조화되어 있다. 이러한 격차를 특성화하기 위해 우리는 여섯 가지 범주의 정보 분류 체계와 네 가지 차원의 언어적 스타일을 정의하고, 이를 SWE-chat의 실제 사용자 프롬프트와 SWE-bench Verified 및 Pro의 문제 설명에 적용하였다. 그 결과, 문제 설명만을 포함하거나 문제 설명과 제한된 추가 맥락만을 포함하는 요청이 실제 프롬프트의 88%를 차지하지만 벤치마크 문제의 7%에 불과함을 발견하였다. 또한 실제 프롬프트의 87%는 비격식적으로 작성된 반면, 벤치마크 문제의 94%는 격식 있는 문체로 작성되었다. 이러한 관찰을 바탕으로 우리는 SWE-bench Verified와 Pro에서 파생된 381개의 다중 변형 과제군인 RealSWE를 도입한다. 각 과제군 내 변형들은 동일한 기본 과제와 정답 패치(gold patch)를 공유하며, 정보 구성과 언어적 스타일에서만 차이를 보인다. RealSWE로 최신 LLM 일곱 개를 평가한 결과, i) 현실적인 입력은 해결률을 평균 6.4퍼센트 포인트 낮추며 모델 순위를 바꿀 수 있다. 통제된 분석은 추가로 ii) Desired Behavior와 Motivation을 포함하는 것은 성능에 유의미한 영향을 미치는 반면, Environment Information과 Reproduction Steps는 측정 가능한 이점 없이 단지 토큰만 추가하며, iii) 언어적 스타일은 작고 모델 의존적인 영향만 미친다는 것을 보여준다. 이러한 결과는 사용자와 에이전트에게 실행 가능한 지침을 제공한다. 즉, 대부분의 실제 프롬프트에서 누락되는 원하는 동작과 동기를 명시적으로 기술하면 LLM의 소프트웨어 엔지니어링 성능이 크게 향상된다.

English

Coding agents are now commonly evaluated on the SWE-bench family of benchmarks, whose tasks are built from curated GitHub issues: long, structured, and information-rich. Real user requests, however, are typically far shorter and less structured. To characterize this gap, we define a six-category information taxonomy and four dimensions of linguistic style, and apply them to real user prompts from SWE-chat and problem statements from SWE-bench Verified and Pro. We find that requests carrying only a problem statement, alone or with limited additional context, account for 88% of real prompts but just 7% of benchmark problems. Furthermore, 87% of real prompts are casually written whereas 94% of benchmark problems are formal. Guided by these observations, we introduce RealSWE, 381 multi-variant task families derived from SWE-bench Verified and Pro. Variants within each family share the same underlying task and gold patch while differing only in information composition and linguistic style. Evaluating seven contemporary LLMs with RealSWE, we find that i) realistic inputs reduce resolution rates by 6.4 pp on average and can change model rankings. Controlled analysis further shows that ii) including Desired Behavior and Motivation significantly affects performance, whereas Environment Information and Reproduction Steps merely add tokens without measurable benefit; iii) linguistic style has only small, model-dependent effects. These findings provide actionable guidance for users and agents: explicitly stating the desired behavior and motivation, which most real prompts omit, substantially improves the LLM's software engineering performance.