마지막으로 만들 하네스
The Last Harness You'll Ever Build
April 22, 2026
저자: Haebin Seong, Li Yin, Haoran Zhang
cs.AI
초록
AI 에이전트는 점점 더 복잡하고 도메인 특화적인 워크플로우에 배포되고 있습니다. 수십 번의 클릭과 폼 입력이 필요한 기업용 웹 애플리케이션을 탐색하고, 검색, 추출, 종합을 아우르는 다단계 연구 파이프라인을 조율하며, 익숙하지 않은 저장소에 걸친 코드 리뷰를 자동화하고, 세분화된 도메인 지식을 요구하는 고객 에스컬레이션을 처리하는 등의 작업이 그것입니다. 각각의 새로운 작업 도메인은 전문가가 주도하는 정교한 하네스 엔지니어링, 즉 파운데이션 모델을 효과적으로 만드는 프롬프트, 도구, 조율 로직, 평가 기준을 설계하는 과정을 필요로 합니다. 본 논문은 이러한 과정을 자동화하는 두 단계의 프레임워크를 제시합니다. 첫 번째 단계인 '하네스 진화 루프'는 단일 작업에 대해 작업자 에이전트의 하네스 H를 최적화합니다. 작업자 에이전트 W_{H}가 작업을 실행하고, 평가자 에이전트 V가 실패를 적대적으로 진단하고 성능을 점수화하며, 진화 에이전트 E가 이전 시도의 전체 기록을 바탕으로 하네스를 수정합니다. 두 번째 단계인 '메타 진화 루프'는 다양한 작업에 걸쳐 진화 프로토콜 Λ = (W_{H}, H^{(0)}, V, E) 자체를 최적화합니다. 이를 통해 어떤 새로운 작업에도 하네스가 빠르게 수렴되도록 하는 최적의 프로토콜 Λ^{(text{best)}를 학습함으로써, 새로운 도메인에 에이전트를 적응시키는 데 전혀 인간의 하네스 엔지니어링이 필요하지 않게 합니다. 우리는 메타러닝과의 연관성을 공식화하고 두 알고리즘을 제시합니다. 이 프레임워크는 수동 하네스 엔지니어링을 자동화된 하네스 엔지니어링으로 전환하고, 한 걸음 더 나아가 자동화 자체의 설계까지 자동화합니다.
English
AI agents are increasingly deployed on complex, domain-specific workflows -- navigating enterprise web applications that require dozens of clicks and form fills, orchestrating multi-step research pipelines that span search, extraction, and synthesis, automating code review across unfamiliar repositories, and handling customer escalations that demand nuanced domain knowledge. Each new task domain requires painstaking, expert-driven harness engineering: designing the prompts, tools, orchestration logic, and evaluation criteria that make a foundation model effective. We present a two-level framework that automates this process. At the first level, the Harness Evolution Loop optimizes a worker agent's harness H for a single task: a Worker Agent W_{H} executes the task, an Evaluator Agent V adversarially diagnoses failures and scores performance, and an Evolution Agent E modifies the harness based on the full history of prior attempts. At the second level, the Meta-Evolution Loop optimizes the evolution protocol Λ= (W_{H}, H^{(0)}, V, E) itself across diverse tasks, learning a protocol Λ^{(text{best)} that enables rapid harness convergence on any new task -- so that adapting an agent to a novel domain requires no human harness engineering at all.} We formalize the correspondence to meta-learning and present both algorithms. The framework shifts manual harness engineering into automated harness engineering, and takes one step further -- automating the design of the automation itself.