SIA: Zelfverbeterende AI met Harness en Gewichtsupdates

Samenvatting

Mensen vormen de bottleneck bij het bouwen en verbeteren van AI. Zowel de modellen als de agents die ze omhullen, worden geschreven, afgesteld en gecorrigeerd door mensen. Het langetermijndoel van een AI die zelf kan uitvinden hoe het zichzelf kan verbeteren, blijft onopgelost. Twee grotendeels onsamenhangende onderzoekslijnen pakken deze bottleneck aan. De 'harness-update'-school laat een meta-agent de scaffold van een taakspecifieke agent herschrijven (diens tools, prompts, retry-logica en zoekprocedure), terwijl de modelgewichten vast blijven. De 'test-time training'-school gebruikt handgeschreven RL-pipelines om de gewichten van het model zelf bij te werken op basis van taakfeedback, terwijl de harness vast blijft. Deze twee silo's opereren geïsoleerd. Wij stellen SIA voor, een zelfverbeterende lus waarin een taalmodel-agent (de Feedback-Agent) zowel de harness als de gewichten van een taakspecifieke agent bijwerkt. We evalueren dit op drie contrasterende domeinen: Chinese juridische aanklachtclassificatie, optimalisatie van laagniveau-GPU-kernels en ruisonderdrukking van enkelcellige RNA. Het combineren van beide hefbomen overtreft alleen scaffold-iteratie op alle drie de benchmarks. De winsten bedragen 56,6% op LawBench, 91,9% looptijdreductie op GPU-kernels en 502% op ruisonderdrukking ten opzichte van de oorspronkelijke baseline. Harness-updates maken de model-agent agentisch en bepalen hoe deze zoekt en handelt, terwijl gewichtsupdates de domeinintuïtie opbouwen die geen enkele prompt of scaffold kan bijbrengen.

English

Humans are the bottleneck in building and improving AI. Both the models and the agents that wrap them are written, tuned, and corrected by people. The long-horizon goal of an AI that can figure out how to improve itself remains open. Two largely disjoint research lines attack this bottleneck. The harness-update school has a meta-agent rewrite the scaffold of a task-specific agent (its tools, prompts, retry logic, and search procedure) while the model weights are held fixed. The test-time training school uses hand-written RL pipelines to update the model's own weights on task feedback while the harness is held fixed. These two silos operate in isolation. We propose SIA, a self-improving loop in which a language-model agent (the Feedback-Agent) updates both the harness and the weights of a task-specific agent. We evaluate across three contrasting domains: Chinese legal charge classification, low-level GPU kernel optimisation, and single-cell RNA denoising. Combining both levers outperforms scaffold iteration alone on all three benchmarks. The gains are 56.6% on LawBench, 91.9% runtime reduction on GPU kernels, and 502% on denoising over the initial baseline. Harness updates make the model agentic, shaping how it searches and acts, while weight updates build the domain intuition that no prompt or scaffold can instil.