再帰的ハーネス自己改善

要旨

モデル・ハーネス共進化の枠組みにおいて、ハーネスは単なる推論時のスキャフォールドではなく、その実行トレースが将来の基盤モデルを形成しうるデータ生成コンポーネントである。このことは、即時的なエージェント性能と将来のモデル訓練に用いるトレースの品質の両方に対してハーネスを最適化する、ハーネス・イン・ザ・ループ学習の重要性を動機づける。しかし、プロバイダが構築したスキャフォールドを継続的に更新することは、コストと労力を要する。そこで我々は、ユーザが構築したハーネスをタスク特化型で最適化することが、計算的に軽量で少数の更新反復のみを要しつつ、実行トレースの品質を向上させ得るかどうかを検討する。この目的のために、我々は再帰的ハーネス自己改善（RHI）を導入する。RHIはハーネスをエージェントループのプロンプトレベルの仕様として表現し、自身の改訂履歴に対するペアワイズフィードバックを用いてそれを反復的に洗練する。量的金融、ロボティクス、医薬品にわたる30の合成機械学習研究タスクにおいて、わずか数回のRHI反復で、低推論労力エージェントの性能上限を大幅に引き上げ、対応する最大推論労力設定を上回りつつ、推論コストを最大60%削減できることを示す。これらの利得は主に、より長い推論トレースではなく、エージェント間の情報フローをより効果的にする改良されたタスク特化型コンテキスト管理に起因することを明らかにする。最後に、この振る舞いをRHIの暗黙的な最適化目的に関する情報理論的仮説として形式化し、RHIをモデル・ハーネス共進化のパラダイムにおける継続学習の実用的アルゴリズムとして提案する。

English

Under model--harness co-evolution, harnesses are not merely inference-time scaffolds but data-generating components whose execution traces can shape future foundation models. This motivates harness-in-the-loop learning: optimizing harnesses for both immediate agent performance and the quality of traces used for future model training. However, continually updating provider-built scaffolds is costly and labor-intensive. We therefore investigate whether optimizing user-constructed harnesses in a task-specific manner can improve execution-trace quality while remaining computationally lightweight and requiring only a few update iterations. To this end, we introduce Recursive Harness Self-Improvement (RHI), which represents the harness as a prompt-level specification of the agent loop and iteratively refines it using pairwise feedback over its own revision history. Across 30 synthetic machine-learning research tasks spanning quantitative finance, robotics, and pharmacy, a few RHI iterations suffice to substantially raise the performance ceiling of low-reasoning-effort agents, exceeding the corresponding maximum-reasoning-effort setting while reducing inference cost by up to 60%. We show that these gains arise primarily from improved task-specific context management through more effective inter-agent information flow rather than longer reasoning traces. Finally, we formalize this behavior as an information-theoretic hypothesis for RHI's implicit optimization objective, suggesting RHI as a practical algorithm for continual learning within the paradigm of model--harness co-evolution.