AIにおける再帰的自己改善：制約付き自己洗練から自律的研究ループへ

要旨

AIシステムは、自らの出力を修正し、展開時に自らのハーネスを適応させ、自ら生成したデータで学習し、さらにAI研究そのものを実施するなど、自己改善への参加をますます強めている。この文献は、「自己洗練」「自己報酬」「自己対戦」「自己進化」といった語彙で記述されるが、これらの語彙は根本的に異なる野心を混同している。本稿では、1,250件のarXiv論文（2024-2026年）を、システムが何を改善するか（展開時の振る舞い、訓練による方針、評価器、あるいは研究プロセスそのもの）とループの閉鎖度（人間参加型ループから完全閉鎖型まで）の二軸に沿って調査する。本分類法は、収束的かつ評価可能であり、すでに産業実践となっている有界自己洗練と、あらゆる測定軸において基盤要件、崩壊力学、計算制約によって制限される未解決再帰的自己改善（RSI）を区別する。その特徴は、自己評価専用のカテゴリを設けている点にある。すなわち、あらゆる改善ループは、何らかの信号が人間の判断を代替できるという主張である。本稿では、評価器の設計空間（判定器、プロセス報酬モデル、検証器、ルーブリック、メタ評価）を調査し、信号を形式的検証器（最強）から内発的自己評価（最弱）に至る検証階層に整理する。そして、実証された自己改善の強度がこの階層に従うこと、その障害モード（自己確証ループ、モデル崩壊、多様性崩壊）が階層の違反に起因すること、そして人間をループ内に留める「研究の方向性設定」というボトルネックが階層の最上位に位置することを観察する。本稿は、技術文献をRSI限界の理論、およびフロンティアラボによるループ閉鎖の説明から提起される安全性・ガバナンス問題に結びつけ、自己改善のガバナンス水準の測定を、当該分野で最も過少なニッチであると同定する。

English

AI systems increasingly participate in their own improvement: revising their outputs, adapting their own harnesses during deployment, training on data they generate, and, increasingly, conducting AI research itself. This literature is described under a vocabulary ("self-refine," "self-reward," "self-play," "self-evolve") that conflates fundamentally different ambitions. We survey 1,250 arXiv papers (2024-2026) along two axes: what the system improves -- its behavior in deployment, its policy through training, its evaluator, or the research process itself -- and the degree of loop closure (human-in-the-loop to fully closed). The taxonomy separates bounded self-refinement -- convergent, evaluable, and already industrial practice -- from open-ended recursive self-improvement (RSI), which remains bounded by grounding requirements, collapse dynamics, and compute constraints on every measured axis. Its distinctive feature is a dedicated category for self-evaluation: every improvement loop is a claim that some signal can substitute for human judgment. We survey the evaluator design space -- judges, process reward models, verifiers, rubrics, meta-evaluation -- order the signals into a verification hierarchy from formal verifiers (strongest) to intrinsic self-assessment (weakest), and observe that demonstrated self-improvement strength tracks this hierarchy, that its failure modes (self-confirming loops, model collapse, diversity collapse) follow from its violations, and that the "research direction-setting" bottleneck keeping humans in the loop sits at the top of that hierarchy. We connect the technical literature to the theory of RSI limits and to the safety and governance questions raised by frontier-lab accounts of closing the loop, and identify governance-grade measurement of self-improvement as the field's most underpopulated niche.

AIにおける再帰的自己改善：制約付き自己洗練から自律的研究ループへ

Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops

要旨

Support