SIA : IA auto-améliorante avec harnais et mises à jour des poids

Résumé

Les humains constituent le goulot d'étranglement dans la construction et l'amélioration de l'IA. Les modèles, ainsi que les agents qui les encapsulent, sont écrits, ajustés et corrigés par des personnes. L'objectif à long terme d'une IA capable de trouver par elle-même comment s'améliorer reste ouvert. Deux axes de recherche largement disjoints s'attaquent à ce goulot d'étranglement. L'école de la mise à jour du harnais (harness-update) fait réécrire par un méta-agent l'échafaudage d'un agent spécialisé dans une tâche (ses outils, invites, logique de réessai et procédure de recherche) tandis que les poids du modèle restent fixes. L'école de l'entraînement au moment du test (test-time training) utilise des pipelines d'apprentissage par renforcement écrits manuellement pour mettre à jour les propres poids du modèle à partir du retour d'information sur la tâche, tandis que le harnais reste fixe. Ces deux silos fonctionnent de manière isolée. Nous proposons SIA, une boucle d'auto-amélioration dans laquelle un agent modèle de langage (l'Agent de Rétroaction) met à jour à la fois le harnais et les poids d'un agent spécialisé dans une tâche. Nous évaluons sur trois domaines contrastés : la classification des charges légales chinoises, l'optimisation de noyaux GPU bas niveau et le débruitage d'ARN monocellulaire. Combiner les deux leviers surpasse l'itération seule de l'échafaudage sur les trois références. Les gains sont de 56,6 % sur LawBench, une réduction de 91,9 % du temps d'exécution sur les noyaux GPU et de 502 % sur le débruitage par rapport à la référence initiale. Les mises à jour du harnais rendent l'agent agentique, façonnant la manière dont il recherche et agit, tandis que les mises à jour des poids construisent l'intuition du domaine qu'aucune invite ou échafaudage ne peut insuffler.

English

Humans are the bottleneck in building and improving AI. Both the models and the agents that wrap them are written, tuned, and corrected by people. The long-horizon goal of an AI that can figure out how to improve itself remains open. Two largely disjoint research lines attack this bottleneck. The harness-update school has a meta-agent rewrite the scaffold of a task-specific agent (its tools, prompts, retry logic, and search procedure) while the model weights are held fixed. The test-time training school uses hand-written RL pipelines to update the model's own weights on task feedback while the harness is held fixed. These two silos operate in isolation. We propose SIA, a self-improving loop in which a language-model agent (the Feedback-Agent) updates both the harness and the weights of a task-specific agent. We evaluate across three contrasting domains: Chinese legal charge classification, low-level GPU kernel optimisation, and single-cell RNA denoising. Combining both levers outperforms scaffold iteration alone on all three benchmarks. The gains are 56.6% on LawBench, 91.9% runtime reduction on GPU kernels, and 502% on denoising over the initial baseline. Harness updates make the model agentic, shaping how it searches and acts, while weight updates build the domain intuition that no prompt or scaffold can instil.