SIA: ハーネスと重み更新を用いた自己改善型AI

要旨

人間は、AIの構築と改善におけるボトルネックである。モデルとその周辺を構成するエージェントは、いずれも人間によって記述、調整、修正される。自己改善の方法を自ら見出すことのできるAIという長期的目標は、いまだ未解決の課題である。このボトルネックに挑む二つの研究系統は、ほぼ独立して進められている。ハーネス更新アプローチでは、メタエージェントがタスク特化型エージェントのスキャフォールド（ツール、プロンプト、再試行ロジック、探索手順）を書き換える一方、モデル重みは固定される。テスト時トレーニングアプローチでは、手書きのRLパイプラインを用いて、タスクフィードバックに基づいてモデル自身の重みを更新する一方、ハーネスは固定される。この二つの系統は互いに独立して運用されている。本稿では、言語モデルエージェント（フィードバックエージェント）がタスク特化型エージェントのハーネスと重みの両方を更新する自己改善ループであるSIAを提案する。評価は、中国法における罪種分類、低レベルGPUカーネル最適化、単一細胞RNAのノイズ除去という、対照的な三つの領域で行う。両方のレバーを組み合わせることで、三つのベンチマーク全てにおいてスキャフォールドのみの反復を上回る性能向上が達成された。その向上幅は、LawBenchで56.6%、GPUカーネルで実行時間91.9%削減、ノイズ除去で初期ベースライン比502%に達する。ハーネスの更新はモデルをエージェント化し、探索と行動の方法を形成する。一方、重みの更新は、いかなるプロンプトやスキャフォールドも植え付けることのできないドメイン直観を構築する。

English

Humans are the bottleneck in building and improving AI. Both the models and the agents that wrap them are written, tuned, and corrected by people. The long-horizon goal of an AI that can figure out how to improve itself remains open. Two largely disjoint research lines attack this bottleneck. The harness-update school has a meta-agent rewrite the scaffold of a task-specific agent (its tools, prompts, retry logic, and search procedure) while the model weights are held fixed. The test-time training school uses hand-written RL pipelines to update the model's own weights on task feedback while the harness is held fixed. These two silos operate in isolation. We propose SIA, a self-improving loop in which a language-model agent (the Feedback-Agent) updates both the harness and the weights of a task-specific agent. We evaluate across three contrasting domains: Chinese legal charge classification, low-level GPU kernel optimisation, and single-cell RNA denoising. Combining both levers outperforms scaffold iteration alone on all three benchmarks. The gains are 56.6% on LawBench, 91.9% runtime reduction on GPU kernels, and 502% on denoising over the initial baseline. Harness updates make the model agentic, shaping how it searches and acts, while weight updates build the domain intuition that no prompt or scaffold can instil.