SIA: 제어 장치와 가중치 업데이트를 갖춘 자기 개선 AI

초록

인간은 AI를 구축하고 개선하는 데 있어 병목 현상이다. 모델과 이를 감싸는 에이전트 모두 사람이 작성, 조정, 수정한다. 스스로 개선 방법을 찾아낼 수 있는 AI라는 장기적 목표는 여전히 미해결 과제이다. 크게 분리된 두 가지 연구 방향이 이 병목 현상을 해결하고자 한다. 하네스 업데이트 학파는 메타 에이전트가 모델 가중치는 고정한 채 작업별 에이전트의 스캐폴드(도구, 프롬프트, 재시도 로직, 검색 절차)를 다시 작성하게 한다. 테스트 타임 트레이닝 학파는 수작업으로 작성된 RL 파이프라인을 사용하여 하네스를 고정한 채 작업 피드백에 따라 모델의 가중치 자체를 업데이트한다. 이 두 사일로는 독립적으로 운영된다. 우리는 언어 모델 에이전트(피드백 에이전트)가 작업별 에이전트의 하네스와 가중치를 모두 업데이트하는 자기 개선 루프인 SIA를 제안한다. 우리는 중국 법률 혐의 분류, 저수준 GPU 커널 최적화, 단일 세포 RNA 잡음 제거라는 세 가지 대조적인 도메인에서 평가한다. 두 레버를 모두 결합하면 세 벤치마크 모두에서 스캐폴드 반복만으로는 성능이 뛰어나다. 성능 향상은 LawBench에서 56.6%, GPU 커널에서 실행 시간 91.9% 감소, 초기 기준선 대비 잡음 제거에서 502%이다. 하네스 업데이트는 모델을 에이전트적으로 만들어 검색 및 행동 방식을 형성하는 반면, 가중치 업데이트는 어떤 프롬프트나 스캐폴드도 주입할 수 없는 도메인 직관을 구축한다.

English

Humans are the bottleneck in building and improving AI. Both the models and the agents that wrap them are written, tuned, and corrected by people. The long-horizon goal of an AI that can figure out how to improve itself remains open. Two largely disjoint research lines attack this bottleneck. The harness-update school has a meta-agent rewrite the scaffold of a task-specific agent (its tools, prompts, retry logic, and search procedure) while the model weights are held fixed. The test-time training school uses hand-written RL pipelines to update the model's own weights on task feedback while the harness is held fixed. These two silos operate in isolation. We propose SIA, a self-improving loop in which a language-model agent (the Feedback-Agent) updates both the harness and the weights of a task-specific agent. We evaluate across three contrasting domains: Chinese legal charge classification, low-level GPU kernel optimisation, and single-cell RNA denoising. Combining both levers outperforms scaffold iteration alone on all three benchmarks. The gains are 56.6% on LawBench, 91.9% runtime reduction on GPU kernels, and 502% on denoising over the initial baseline. Harness updates make the model agentic, shaping how it searches and acts, while weight updates build the domain intuition that no prompt or scaffold can instil.