Harness-of-Harness: 수일간의 자율적 소프트웨어 개발과 지속적 개선

초록

본 논문은 LLM 기반 코딩 에이전트가 인간의 개입 없이 높은 수준의 요구사항을 완전하고 기능적이며 사용 가능한 소프트웨어 시스템으로 변환하는 자율 소프트웨어 개발에 관한 연구이다. 우리는 코딩 에이전트가 자율 개발 과정에서 지속적으로 소프트웨어를 개선할 수 있게 하는 프레임워크인 Harness-of-Harness(HoH)를 소개한다. HoH는 기존 코딩 에이전트 하네스 위에서 작동하며, 그 실행들을 계획-코딩-테스트의 반복 루프로 구성한다. 루프 전반에 걸친 지속적인 개선을 위해 HoH는 수리와 역량 성장의 균형을 맞추고, 개발 범위를 작고 검증 가능한 증분 단위로 한정하며, 구현 시점의 테스트를 독립적 평가와 분리하고, 에이전트의 작업 흐름을 규정하기보다 검증 가능한 산출물을 제약한다. 또한 HoH는 산출물, 역할별 도구, 스킬을 점진적으로 노출하고 재생성보다 재사용을 장려하며 버전 관리된 프로젝트 이력을 유지한다. GameCraft-Bench, FrontierSWE, ProgramBench에서 세 가지 하네스-모델 쌍(Codex with GPT-5.5, OpenCode with DeepSeek-V4-Pro, Pi with MiniMax-M3)을 평가한 결과, HoH는 해당 단독 하네스들을 일관되게 능가하여 세 차례 반복 후 평균 상대적 개선율 52.25%, 최대 개선율 82.86%를 달성했다. 70회 이상의 반복이 수행된 다일간 배포 실험에서 HoH는 일관된 스토리라인, 완전히 구현된 핵심 메커니즘, 인간이 플레이 가능한 경험, 정교한 비주얼과 통합된 오디오를 갖춘 1인칭 슈팅 게임을 자율적으로 개발했다. GitHub: https://github.com/Flesymeb/HarnessOfHarness 프로젝트 페이지: https://flesymeb.github.io/HarnessOfHarness/

English

This paper studies autonomous software development, in which LLM-based coding agents transform high-level requirements into complete, functional, and usable software systems without human intervention. We introduce Harness-of-Harness (HoH), a framework that enables coding agents to continually improve software during autonomous development. HoH operates on existing coding-agent harnesses, and organizes their executions into iterative planning-coding-testing loops. To sustain improvement across loops, HoH balances repair with capability growth, scopes development into small and verifiable increments, separates implementation-time testing from independent evaluation, and constrains verifiable outputs rather than prescribing agent workflows. It progressively exposes deliverables, role-specific tools, and skills, encourages reuse rather than recreation, and maintains versioned project histories. On GameCraft-Bench, FrontierSWE, and ProgramBench, three harness-model pairs (Codex with GPT-5.5, OpenCode with DeepSeek-V4-Pro, and Pi with MiniMax-M3), HoH consistently outperforms the corresponding standalone harnesses, achieving an average relative gain of 52.25 percent and a maximum gain of 82.86 percent after three iterations. In a multi-day deployment with more than 70 iterations, HoH autonomously develops a first-person-shooter game, featuring a coherent storyline, fully implemented core mechanics, human-playable experience, polished visuals and integrated audio. Github: https://github.com/Flesymeb/HarnessOfHarness Project Page: https://flesymeb.github.io/HarnessOfHarness/