StarHarness: 엔터프라이즈 환경을 위한 계층화 탐색 기반 하네스 진화

초록

본 논문은 모델 가중치는 고정한 채 환경 특화형 에이전트 하네스(harness)를 진화시키는 프레임워크인 StarHarness를 제시한다. 진화된 하네스는 프롬프트 및 태스크 프레이밍, 도구 인터페이스, 스킬, MCP 기반 프로바이더, 서브에이전트 구조, 에이전트 루프 구성을 포함할 수 있다. StarHarness는 베이스라인 실패 동작에 따라 태스크를 계층화하여 컴팩트한 진화 풀을 구성하고, 제안자(proposer)에게 공개되는 탐색 태스크와 비공개 선별 태스크를 분리하며, 일반화 평가를 위한 홀드아웃 태스크를 별도로 유지한다. ITBench SRE, EnterpriseOps-Gym ITSM, AutomationBench Finance 실험에서 하네스 진화는 환경당 4~12회의 채택된 변경만으로 기본 하네스 대비 전체 벤치마크 성능을 20~35퍼센트포인트 개선한다. 이러한 성능 향상은 진화에서 제외된 태스크에서도 유지되며, GPT 및 Qwen 모델 군 전반에 걸쳐 재진화 없이 전이된다. 트레이스 분석은 이러한 개선이 인터페이스 수리, 환경 관례, 검색 공간을 압축하는 운영 지식에 기인함을 보여주며, 여러 설정에서 거짓 양성 진단 감소와 더 짧은 궤적이 관찰된다. 따라서 StarHarness는 도구 중심의 엔터프라이즈 태스크에서 지속적인 모델-환경 불일치를 줄이는 실용적인 수단을 제공한다.

English

We present StarHarness, a framework for evolving environment-specific agent harnesses while keeping model weights fixed. The evolved harness can include prompt and task framing, tool interfaces, skills, MCP-backed providers, subagent structure, and agent-loop configuration. StarHarness constructs a compact evolution pool by stratifying tasks according to baseline failure behavior, separates proposer-visible search tasks from proposer-hidden selection tasks, and reserves held-out tasks for evaluating generalization. Across ITBench SRE, EnterpriseOps-Gym ITSM, and AutomationBench Finance, harness evolution improves full-benchmark performance by 20-35 percentage points over the default harness after 4-12 accepted changes per environment. These gains persist on tasks excluded from evolution and transfer without re-evolution across GPT and Qwen model families. Trace analysis links the improvements to interface repairs, environment conventions, and operational knowledge that compresses search, with fewer false-positive diagnoses and shorter trajectories in several settings. StarHarness therefore offers a practical way to reduce persistent model-environment mismatch in tool-rich enterprise tasks.