AutoSaddler: 에이전트 실행 추적으로부터의 지속적 업데이트를 통한 자동 하네스 최적화

초록

LLM 에이전트는 장기 지평(long-horizon) 작업에서 여전히 신뢰성이 부족하다. 이러한 작업에서는 작은 국부적 실패가 확장된 상호작용 과정에서 누적되어 전체 작업 실패로 이어질 수 있다. 외부 하네스(harness)가 견고성을 크게 개선할 수 있지만, 하네스 설계는 프롬프트, 도구 구성, 제어 로직의 광범위한 공간을 탐색해야 하는 수작업 기반의 고비용 프로세스로 남아 있다. 본 논문에서는 하네스 개선을 오프라인 학습 문제로 정식화하고 미니배치의 실패 신호를 활용하여 하네스를 반복적으로 갱신하는 자동 하네스 최적화 프레임워크인 AutoSaddler를 제안한다. AutoSaddler는 실패 궤적 진단, 하네스를 코드로 취급하는 구조화된 패치 생성, 검증 기반 갱신 선택을 결합한다. GAIA2, SWE-Bench Pro, Terminal-Bench 2.0 실험에서 AutoSaddler는 해당 기본 하네스 대비 에이전트 성능을 각각 9.0, 9.6, 10.0퍼센트 포인트 향상시켰다. 절제 연구는 효과적인 하네스 최적화가 세 가지 요소, 즉 얕은 반성보다는 심층 디버깅, 제약 없는 편집보다는 목표 지향적 수정, 궤적 특화 복구보다는 일반화 인지 선택으로부터 이점을 얻는다는 것을 시사한다. 이러한 결과는 자동 하네스 최적화가 더 우수하고 신뢰할 수 있는 에이전트 시스템으로 가는 유망한 경로임을 보여준다.

English

LLM agents remain unreliable on long-horizon tasks, where small local failures can compound over extended interactions and lead to overall task failure. Although external harnesses can substantially improve robustness, harness design remains a manual and expensive process that requires searching over a large space of prompts, tool configurations, and control logic. We propose AutoSaddler, an automatic harness optimization framework that formulates harness improvement as an offline learning problem and iteratively updates the harness using failure signals from mini-batches. AutoSaddler combines failure-trace diagnosis, structured patch generation that treats the harness as code, and validation-based update selection. Experiments on GAIA2, SWE-Bench Pro, and Terminal-Bench 2.0 show that AutoSaddler substantially improves agent performance over the corresponding base harnesses, achieving gains of 9.0, 9.6, and 10.0 percentage points, respectively. Ablation studies further suggest that effective harness optimization benefits from three ingredients: deep debugging rather than shallow reflection, targeted modifications rather than unconstrained editing, and generalization-aware selection rather than trajectory-specific repair. Together, these results suggest that automatic harness optimization is a promising path toward more performant and reliable agent systems.