SIA: IA auto-mejorante con arnés y actualizaciones de pesos

Resumen

Los humanos son el cuello de botella en la construcción y mejora de la IA. Tanto los modelos como los agentes que los envuelven son escritos, ajustados y corregidos por personas. El objetivo a largo plazo de una IA capaz de descubrir cómo mejorarse a sí misma sigue siendo un problema abierto. Dos líneas de investigación en gran medida inconexas abordan este cuello de botella. La escuela de actualización del arnés emplea un meta-agente que reescribe el andamiaje de un agente específico para una tarea (sus herramientas, indicaciones, lógica de reintentos y procedimiento de búsqueda), manteniendo fijos los pesos del modelo. La escuela de entrenamiento en tiempo de prueba utiliza tuberías de aprendizaje por refuerzo escritas a mano para actualizar los pesos del propio modelo a partir de la retroalimentación de la tarea, manteniendo fijo el arnés. Estos dos silos operan de forma aislada. Proponemos SIA, un bucle de automejora en el que un agente basado en modelo de lenguaje (el Agente de Retroalimentación) actualiza tanto el arnés como los pesos de un agente específico para una tarea. Evaluamos en tres dominios contrastantes: clasificación de cargos legales chinos, optimización de kernels de GPU de bajo nivel y eliminación de ruido en ARN de célula única. La combinación de ambas palancas supera a la iteración del andamiaje por sí sola en los tres puntos de referencia. Las mejoras son del 56,6 % en LawBench, una reducción del 91,9 % en tiempo de ejecución en kernels de GPU y del 502 % en eliminación de ruido sobre la línea base inicial. Las actualizaciones del arnés hacen que el modelo sea agentivo, moldeando cómo busca y actúa, mientras que las actualizaciones de pesos construyen la intuición del dominio que ninguna indicación o andamiaje puede inculcar.

English

Humans are the bottleneck in building and improving AI. Both the models and the agents that wrap them are written, tuned, and corrected by people. The long-horizon goal of an AI that can figure out how to improve itself remains open. Two largely disjoint research lines attack this bottleneck. The harness-update school has a meta-agent rewrite the scaffold of a task-specific agent (its tools, prompts, retry logic, and search procedure) while the model weights are held fixed. The test-time training school uses hand-written RL pipelines to update the model's own weights on task feedback while the harness is held fixed. These two silos operate in isolation. We propose SIA, a self-improving loop in which a language-model agent (the Feedback-Agent) updates both the harness and the weights of a task-specific agent. We evaluate across three contrasting domains: Chinese legal charge classification, low-level GPU kernel optimisation, and single-cell RNA denoising. Combining both levers outperforms scaffold iteration alone on all three benchmarks. The gains are 56.6% on LawBench, 91.9% runtime reduction on GPU kernels, and 502% on denoising over the initial baseline. Harness updates make the model agentic, shaping how it searches and acts, while weight updates build the domain intuition that no prompt or scaffold can instil.