재귀적 활용 자기 개선

초록

모델-하네스 공진화 하에서 하네스는 단순한 추론 시 스캐폴드가 아니라, 실행 추적이 미래의 기반 모델을 형성할 수 있는 데이터 생성 구성 요소입니다. 이는 하네스 인 더 루프 학습, 즉 즉각적인 에이전트 성능과 미래 모델 훈련에 사용되는 추적의 품질 모두를 위해 하네스를 최적화하는 접근법을 동기부여합니다. 그러나 공급자가 구축한 스캐폴드를 지속적으로 업데이트하는 것은 비용이 많이 들고 노동 집약적입니다. 따라서 본 연구에서는 사용자가 구축한 하네스를 작업별 방식으로 최적화하는 것이 계산적으로 가벼우면서도 적은 수의 업데이트 반복만으로 실행 추적 품질을 개선할 수 있는지 조사합니다. 이를 위해 재귀적 하네스 자기 개선(RHI)을 도입합니다. RHI는 하네스를 에이전트 루프의 프롬프트 수준 사양으로 표현하고, 자체 수정 이력에 대한 쌍별 피드백을 사용하여 이를 반복적으로 개선합니다. 정량 금융, 로봇 공학, 약학에 걸친 30개의 합성 머신러닝 연구 작업에서 몇 번의 RHI 반복만으로 낮은 추론 노력 에이전트의 성능 상한선을 실질적으로 높일 수 있었으며, 해당 최대 추론 노력 설정을 초과하면서 추론 비용을 최대 60%까지 줄였습니다. 이러한 이점은 주로 더 긴 추론 추적보다는 더 효과적인 에이전트 간 정보 흐름을 통한 개선된 작업별 컨텍스트 관리에서 비롯됨을 확인했습니다. 마지막으로, 우리는 이 동작을 RHI의 암시적 최적화 목표에 대한 정보 이론적 가설로 공식화하며, 모델-하네스 공진화 패러다임 내에서 지속적 학습을 위한 실용적인 알고리즘으로 RHI를 제안합니다.

English

Under model--harness co-evolution, harnesses are not merely inference-time scaffolds but data-generating components whose execution traces can shape future foundation models. This motivates harness-in-the-loop learning: optimizing harnesses for both immediate agent performance and the quality of traces used for future model training. However, continually updating provider-built scaffolds is costly and labor-intensive. We therefore investigate whether optimizing user-constructed harnesses in a task-specific manner can improve execution-trace quality while remaining computationally lightweight and requiring only a few update iterations. To this end, we introduce Recursive Harness Self-Improvement (RHI), which represents the harness as a prompt-level specification of the agent loop and iteratively refines it using pairwise feedback over its own revision history. Across 30 synthetic machine-learning research tasks spanning quantitative finance, robotics, and pharmacy, a few RHI iterations suffice to substantially raise the performance ceiling of low-reasoning-effort agents, exceeding the corresponding maximum-reasoning-effort setting while reducing inference cost by up to 60%. We show that these gains arise primarily from improved task-specific context management through more effective inter-agent information flow rather than longer reasoning traces. Finally, we formalize this behavior as an information-theoretic hypothesis for RHI's implicit optimization objective, suggesting RHI as a practical algorithm for continual learning within the paradigm of model--harness co-evolution.