ハーネス・オブ・ハーネス：継続的改善を伴う複数日間にわたる自律的ソフトウェア開発

要旨

本論文は、LLMベースのコーディングエージェントが人間の介入なしに高レベルの要件を完全かつ機能的で利用可能なソフトウェアシステムへ変換する自律的ソフトウェア開発を研究するものである。本論文では、自律開発中にコーディングエージェントがソフトウェアを継続的に改善できるようにするフレームワーク、Harness-of-Harness（HoH）を提案する。HoHは既存のコーディングエージェント用ハーネス上で動作し、それらの実行を反復的な計画・コーディング・テストのループとして編成する。ループをまたいだ改善を持続させるため、HoHは修復と能力向上のバランスをとり、開発を検証可能な小さなインクリメントに区切り、実装時のテストと独立評価を分離し、エージェントのワークフローを規定するのではなく検証可能な出力に制約を課す。またHoHは、成果物、役割固有のツール、スキルを段階的に提供し、再作成ではなく再利用を促進し、バージョン管理されたプロジェクト履歴を維持する。GameCraft-Bench、FrontierSWE、ProgramBench上で3組のハーネス・モデルペア（CodexとGPT-5.5、OpenCodeとDeepSeek-V4-Pro、PiとMiniMax-M3）を評価した結果、HoHは対応する単体ハーネスを一貫して上回り、3回の反復後には平均で52.25%、最大で82.86%の相対改善を達成した。また、70回以上の反復を含む複数日にわたる実行では、HoHは首尾一貫したストーリー、完全に実装されたコアメカニクス、人間がプレイ可能な体験、洗練されたビジュアル、統合されたオーディオを備えたファーストパーソン・シューティングゲームを自律的に開発した。GitHub: https://github.com/Flesymeb/HarnessOfHarness プロジェクトページ: https://flesymeb.github.io/HarnessOfHarness/

English

This paper studies autonomous software development, in which LLM-based coding agents transform high-level requirements into complete, functional, and usable software systems without human intervention. We introduce Harness-of-Harness (HoH), a framework that enables coding agents to continually improve software during autonomous development. HoH operates on existing coding-agent harnesses, and organizes their executions into iterative planning-coding-testing loops. To sustain improvement across loops, HoH balances repair with capability growth, scopes development into small and verifiable increments, separates implementation-time testing from independent evaluation, and constrains verifiable outputs rather than prescribing agent workflows. It progressively exposes deliverables, role-specific tools, and skills, encourages reuse rather than recreation, and maintains versioned project histories. On GameCraft-Bench, FrontierSWE, and ProgramBench, three harness-model pairs (Codex with GPT-5.5, OpenCode with DeepSeek-V4-Pro, and Pi with MiniMax-M3), HoH consistently outperforms the corresponding standalone harnesses, achieving an average relative gain of 52.25 percent and a maximum gain of 82.86 percent after three iterations. In a multi-day deployment with more than 70 iterations, HoH autonomously develops a first-person-shooter game, featuring a coherent storyline, fully implemented core mechanics, human-playable experience, polished visuals and integrated audio. Github: https://github.com/Flesymeb/HarnessOfHarness Project Page: https://flesymeb.github.io/HarnessOfHarness/