하네스와 모델의 공진화: 온폴리시 교정은 모방이 실패하는 영역에서 더 약한 모델이 따라잡도록 돕는다

초록

에이전트 하네스(모델을 둘러싼 시스템 프롬프트, 도구 세트, 실행 훅, 컨텍스트 관리 스캐폴딩)는 에이전트 과업 성공의 핵심 결정 요인이다. 자동화된 하네스 진화는 더 작은 모델이 프런티어 모델 비용의 일부만으로 도메인 특화 과업에서 좋은 성능을 내도록 할 수 있다. 하네스와 모델 가중치가 모두 행동을 형성하므로, 우리는 하네스 진화와 경량 미세조정을 어떻게 결합해야 하는지 질문한다. 일곱 개의 엔터프라이즈 에이전트 과업 전반에서, 우리는 먼저 더 약한 모델로 하네스를 진화시킨 뒤, 더 강한 전문가가 이를 더 효과적으로 사용하는 경우가 많음을 발견하며, 이는 전문가 감독이 남은 격차를 좁힐 수 있음을 시사한다. 그러나 진화된 하네스 아래에서 전문가의 전체 궤적을 사용해 더 약한 모델을 훈련하는 것은 역효과를 낳는다: 동일한 절차가 진화되지 않은 하네스 아래에서는 도움이 되는데도, Qwen3-Coder와 Gemma 4 전반에서 일곱 개 과업 모두에서 성능이 4~30점 저하된다. 우리의 분석은 모방이 지식을 전이하고 스캐폴딩 사용을 증가시키지만 모델-하네스 적합성을 훼손함을 보여준다: 더 약한 모델은 이를 실행할 역량 없이 전문가의 계획 전략을 채택하고, 더 이상 자신의 본래 계획 스타일을 중심으로 진화한 하네스와 맞지 않는다. 따라서 우리는 메타 수준 MLE 에이전트에 의해 자동화되는 온폴리시 전문가 교정 파이프라인을 개발한다. 이 파이프라인은 더 약한 모델 자체의 롤아웃에서 실패한 턴을 국소화하고, 전문가에게 해당 턴만 재작성하도록 요청한다. 이는 모델의 계획 스타일을 보존하고 하네스 진화와 모델 적응의 이점을 결합한다. 우리의 결과는 하네스와 가중치 업데이트 사이의 상충 원인을 식별하고 해결하여, 도메인 특화 엔터프라이즈 과업에서 경제적인 공진화를 위한 호환성 보존 레시피를 제시한다.

English

Agent harnesses (the system prompt, tool set, execution hooks, and context-management scaffolding around a model) are a critical determinant of agentic task success. Automated harness evolution can enable smaller models to perform well on domain-specific tasks at a fraction of frontier-model cost. Since both the harness and model weights shape behavior, we ask how harness evolution and lightweight fine-tuning should be combined. Across seven enterprise agent tasks, we first evolve a harness with the weaker model, then find that a stronger expert often uses it more effectively, suggesting expert supervision could close the remaining gap. However, training the weaker model on the expert's complete trajectories under the evolved harness backfires: performance regresses on all seven tasks by 4 to 30 points across Qwen3-Coder and Gemma 4, even though the same procedure helps under the unevolved harness. Our analysis shows that imitation transfers knowledge and increases scaffold usage, but disrupts model-harness fit: the weaker model adopts the expert's planning strategy without the competence to execute it and no longer matches the harness evolved around its native planning style. We therefore develop an on-policy expert-correction pipeline, automated by a meta-level MLE agent, that localizes the failing turn in the weaker model's own rollout and asks the expert to rewrite only that turn. This preserves the model's planning style and combines the gains of harness evolution and model adaptation. Our results identify and resolve a source of contention between harness and weight updates, yielding a compatibility-preserving recipe for economical co-evolution on domain-specific enterprise tasks.