계층적 자기개선: 작업 특화 진화 가능 에이전트 하니스를 위한 프레임워크

초록

현대 LLM 에이전트는 종종 프롬프트, 도구 또는 워크플로우를 수동으로 수정하여 개선되는 반면, 모델을 둘러싼 실행 가능한 스캐폴드(하네스)는 배포 후 고정된 요소로 간주된다. 본 연구는 하네스가 작업별로 특화되고 지속적으로 진화할 수 있는 대안을 탐구한다. 각 작업 계열은 자체 하네스를 유지하며, 이 하네스는 고정된 작업 주입 지점을 통해 반복 간에 핫스왑되고 환경 피드백을 기반으로 재작성된다. 우리는 계층적 자기 개선(HSI) 프레임워크를 제안한다. 이 프레임워크에서 단일 동결 LLM M은 세 가지 계층적 범위에서 작동한다: 작업을 실행하는 작업 하네스 H, H를 재작성하는 진화기, 그리고 동결된 외부 앵커 아래에서 진화기의 전략 코드를 재작성하는 메타-진화기. 추론 온/오프 설계는 작업 실행 중 추론을 비활성화하고 자기 수정 중에는 활성화하여 하네스 진화의 기여도를 분리한다. HSI는 두 가지 요인에 의해 제한된다. 첫째는 피드백 충실도 한계로, 진화가 선택을 안내하기 위해 정보성 있는 보상 신호를 필요로 하기 때문이다. 둘째는 백본 능력 한계로, 하네스 재설계가 동결 모델의 한계를 극복할 수 없기 때문이다. 동결 백본으로 DeepSeek-V4-Flash-Preview를 사용하는 BALROG에서 HSI는 중간 난이도 작업에서 초기 하네스 대비 일관된 성능 향상을 달성한다(BabyAI에서 +39.3, Crafter에서 +33.0, TextWorld에서 +25.0, MiniHack에서 +15.0, 모두 원시 % 진행률 기준). 또한 BabaIsAI 하위 스위트에서 강력한 홀드아웃 일반화를 보여준다(20% 미가용 분할에서 BreakStop 최고 테스트 점수 0.98, GoTo 1.00). 백본의 능력을 넘어서는 작업(NLE)에서는 하네스 진화가 개선을 제공하지 못한다. 이러한 결과는 명확한 경험적 한계 하에서 동결 LLM 에이전트를 개선하기 위한 실행 가능한 축으로서 작업별 하네스 진화를 입증한다. 코드는 https://github.com/TailinZhou/hsi 에서 공개되어 있다.

English

Modern LLM agents are often improved by modifying prompts, tools, or workflows manually, while the executable scaffold surrounding the model---the harness---is typically treated as a fixed artifact after deployment. This work studies an alternative where the harness is task-specific and continuously evolvable: each task family maintains its own harness, which is hot-swapped across iterations through a fixed task-injection seam and rewritten using environment feedback. We introduce Hierarchical Self-Improvement (HSI), a framework in which a single frozen LLM M operates across three hierarchical scopes: a task harness H that executes tasks, an evolver that rewrites H, and a meta-evolver that rewrites the evolver's strategy code under a frozen outer anchor. A thinking-on/off design isolates the contribution of harness evolution by disabling reasoning during task execution while enabling it during self-modification. HSI is bounded by two factors: a feedback-fidelity bound, since evolution requires informative reward signals to guide selection, and a backbone capability bound, since harness redesign cannot overcome limitations of the frozen model. On BALROG with DeepSeek-V4-Flash-Preview as the frozen backbone, HSI achieves consistent gains over the initial harness on moderate-difficulty tasks (+39.3 on BabyAI, +33.0 on Crafter, +25.0 on TextWorld, and +15.0 on MiniHack, all in raw \% Progress), while obtaining strong held-out generalization on BabaIsAI sub-suites (0.98 best-test on BreakStop and 1.00 on GoTo from a 20% unseen split). On tasks beyond the backbone's capability (NLE), harness evolution provides no improvement. These results demonstrate task-specific harness evolution as a viable axis for improving frozen LLM agents under clear empirical limits. Code is available at https://github.com/TailinZhou/hsi.