AI의 재귀적 자기 개선: 제한된 자기 세분화에서 자율적 연구 루프로

초록

AI 시스템은 점점 더 자체 개선에 참여하고 있다: 출력을 수정하고, 배포 중 자체 하네스를 조정하며, 자체 생성한 데이터로 훈련하고, 점차 AI 연구 자체를 수행한다. 이 문헌은 근본적으로 다른 목표를 혼동하는 어휘("self-refine", "self-reward", "self-play", "self-evolve") 아래 설명된다. 우리는 1,250편의 arXiv 논문(2024-2026)을 두 축을 따라 조사한다: 시스템이 개선하는 대상(배포 중 행동, 훈련을 통한 정책, 평가자, 또는 연구 과정 자체)과 루프 폐쇄 정도(인간 개입 루프부터 완전 폐쇄). 분류 체계는 수렴적이고 평가 가능하며 이미 산업계에서 실행되는 제한된 자기 개선(bounded self-refinement)을, 모든 측정 축에서 근거 요구 조건, 붕괴 동역학, 계산 제약에 의해 제한되는 개방형 재귀적 자기 개선(RSI)과 분리한다. 이 분류 체계의 독특한 특징은 자기 평가에 대한 전용 범주이다: 모든 개선 루프는 어떤 신호가 인간 판단을 대체할 수 있다는 주장이다. 우리는 평가자 설계 공간(판정자, 과정 보상 모델, 검증자, 루브릭, 메타 평가)을 조사하고, 신호를 공식 검증자(가장 강력)부터 내재적 자기 평가(가장 약함)까지의 검증 계층 구조로 정렬한다. 그리고 입증된 자기 개선 강도가 이 계층 구조를 따르며, 그 실패 모드(자기 확증 루프, 모델 붕괴, 다양성 붕괴)는 그 위반에서 비롯되며, 인간을 루프에 유지하는 "연구 방향 설정" 병목이 그 계층 구조의 정점에 위치한다는 점을 관찰한다. 우리는 기술 문헌을 RSI 한계 이론 및 루프 폐쇄에 대한 프런티어 연구소의 설명에서 제기된 안전 및 거버넌스 질문과 연결하고, 자기 개선에 대한 거버넌스 수준의 측정을 이 분야에서 가장 연구가 부족한 틈새로 식별한다.

English

AI systems increasingly participate in their own improvement: revising their outputs, adapting their own harnesses during deployment, training on data they generate, and, increasingly, conducting AI research itself. This literature is described under a vocabulary ("self-refine," "self-reward," "self-play," "self-evolve") that conflates fundamentally different ambitions. We survey 1,250 arXiv papers (2024-2026) along two axes: what the system improves -- its behavior in deployment, its policy through training, its evaluator, or the research process itself -- and the degree of loop closure (human-in-the-loop to fully closed). The taxonomy separates bounded self-refinement -- convergent, evaluable, and already industrial practice -- from open-ended recursive self-improvement (RSI), which remains bounded by grounding requirements, collapse dynamics, and compute constraints on every measured axis. Its distinctive feature is a dedicated category for self-evaluation: every improvement loop is a claim that some signal can substitute for human judgment. We survey the evaluator design space -- judges, process reward models, verifiers, rubrics, meta-evaluation -- order the signals into a verification hierarchy from formal verifiers (strongest) to intrinsic self-assessment (weakest), and observe that demonstrated self-improvement strength tracks this hierarchy, that its failure modes (self-confirming loops, model collapse, diversity collapse) follow from its violations, and that the "research direction-setting" bottleneck keeping humans in the loop sits at the top of that hierarchy. We connect the technical literature to the theory of RSI limits and to the safety and governance questions raised by frontier-lab accounts of closing the loop, and identify governance-grade measurement of self-improvement as the field's most underpopulated niche.

AI의 재귀적 자기 개선: 제한된 자기 세분화에서 자율적 연구 루프로

Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops

초록

Support