SWE-Pruner Pro: 코더 LLM은 이미 무엇을 가지치기할지 알고 있다

초록

코딩 에이전트를 위한 긴 컨텍스트 프루닝은 효율적인 컨텍스트 관리를 위한 핵심 기술로 자리 잡아 왔다. SWE-Pruner와 같은 기존 컨텍스트 프루닝 방법은 별도의 코드 분류기를 추가하여 이를 구현하는 반면, 본 연구에서는 에이전트 자체가 도구 출력을 읽을 때 코드 컨텍스트의 관련성을 나타내는 내부 표현을 인코딩한다는 사실을 발견하였다. 이러한 발견을 바탕으로, 에이전트 내부에서 직접 도구 출력을 프루닝하는 SWE-Pruner Pro를 제안한다. 구체적으로, 작은 헤드가 각 도구 출력의 줄 수에 따라 길이 인식 임베딩을 키로 사용하여 에이전트의 자체 내부 표현을 줄별 유지-프루닝 레이블로 변환한다. 두 개의 오픈 웨이트 백본과 네 개의 멀티턴 벤치마크에 걸쳐 SWE-Pruner Pro는 제한된 추론 오버헤드 내에서 태스크 품질을 유지하면서 프롬프트 및 완료 토큰을 최대 39% 절감한다. 특히, MiMo-V2-Flash에서 SWE-Pruner Pro는 SWE-Bench Verified 해결율을 +3.8%, 장문 컨텍스트 Oolong 정확도를 +2.2% 포인트 추가로 향상시킨다.

English

Pruning long context for coding agents has been a vital technology for efficient context management. While existing context pruning methods such as SWE-Pruner realize this by attaching a separate code classifier, we find the agent itself encodes internal representations indicating the relevance of code context when reading tool output. Based on this finding, we propose SWE-Pruner Pro, which prunes tool outputs directly inside the agent. Concretely, a small head turns the agent's own internal representations into a keep-or-prune label for each line, with a length-aware embedding keyed to each tool output's line count. Across two open-weight backbones and four multi-turn benchmarks, SWE-Pruner Pro saves up to 39% of prompt and completion tokens while preserving task quality, with bounded inference overhead. Notably, on MiMo-V2-Flash SWE-Pruner Pro additionally raises the SWE-Bench Verified resolve rate by +3.8% and the long-context Oolong accuracy by +2.2 points.