SIA: Selbstverbessernde KI mit Harness- und Gewichtsaktualisierungen

Zusammenfassung

Der Mensch ist der Engpass beim Aufbau und der Verbesserung von KI. Sowohl die Modelle als auch die sie umgebenden Agenten werden von Menschen geschrieben, abgestimmt und korrigiert. Das langfristige Ziel einer KI, die selbstständig herausfinden kann, wie sie sich verbessert, bleibt unerreicht. Zwei weitgehend disjunkte Forschungsrichtungen gehen diesen Engpass an. Die Harness-Update-Schule lässt einen Meta-Agenten das Gerüst (Scaffold) eines aufgabenspezifischen Agenten (seine Werkzeuge, Prompts, Wiederholungslogik und Suchprozedur) umschreiben, während die Modellgewichte fixiert bleiben. Die Schule des Testzeit-Trainings verwendet handgeschriebene RL-Pipelines, um die eigenen Gewichte des Modells anhand von Aufgaben-Feedback zu aktualisieren, während der Harness fixiert bleibt. Diese beiden Silos arbeiten isoliert voneinander. Wir schlagen SIA vor, eine sich selbst verbessernde Schleife, in der ein Sprachmodell-Agent (der Feedback-Agent) sowohl den Harness als auch die Gewichte eines aufgabenspezifischen Agenten aktualisiert. Wir evaluieren in drei kontrastierenden Bereichen: chinesische rechtliche Klassifizierung von Anklagepunkten, Low-Level-GPU-Kernel-Optimierung und Einzelzell-RNA-Entrauschung. Die Kombination beider Hebel übertrifft die reine Scaffold-Iteration in allen drei Benchmarks. Die Verbesserungen betragen 56,6 % bei LawBench, 91,9 % Laufzeitreduktion bei GPU-Kernels und 502 % bei der Entrauschung gegenüber der anfänglichen Basislinie. Harness-Updates machen das Modell agentisch und formen, wie es sucht und handelt, während Gewichts-Updates die Domänenintuition aufbauen, die kein Prompt oder Scaffold vermitteln kann.

English

Humans are the bottleneck in building and improving AI. Both the models and the agents that wrap them are written, tuned, and corrected by people. The long-horizon goal of an AI that can figure out how to improve itself remains open. Two largely disjoint research lines attack this bottleneck. The harness-update school has a meta-agent rewrite the scaffold of a task-specific agent (its tools, prompts, retry logic, and search procedure) while the model weights are held fixed. The test-time training school uses hand-written RL pipelines to update the model's own weights on task feedback while the harness is held fixed. These two silos operate in isolation. We propose SIA, a self-improving loop in which a language-model agent (the Feedback-Agent) updates both the harness and the weights of a task-specific agent. We evaluate across three contrasting domains: Chinese legal charge classification, low-level GPU kernel optimisation, and single-cell RNA denoising. Combining both levers outperforms scaffold iteration alone on all three benchmarks. The gains are 56.6% on LawBench, 91.9% runtime reduction on GPU kernels, and 502% on denoising over the initial baseline. Harness updates make the model agentic, shaping how it searches and acts, while weight updates build the domain intuition that no prompt or scaffold can instil.