Meta^n：創発的深層による再帰的自己改善

要旨

自己改善型LLMエージェントは、回答を改良するのであって、その回答を生み出すプロセスを改良するのではない。メタレベルを追加するシステムはそのレベルを固定したまま保持し、自己編集を行うシステムは安定性を保つために自身の編集機構の一部に手を加えずに残さなければならない。そのため、実際に実現されるメタ深度はおよそ2に制限される。我々は、メタ操作を固定したまま、代わりにその入力に対して再帰するMeta^nを提案する。この操作Ωは、自身の出力に繰り返し適用され、下位のソルバースタックのトレースとそれを生成したコードを読み取り、次の層を戦略的前処理と呼び出し可能なヘルパー群のライブラリとして書き出す。Ωは決して変化しないためシステムを不安定化せず、またその入力は厳密に増大するため、各層は前の層よりも高い視点から推論を行う。深さは事前に固定されるのではなく収束によって決定され、進化的アーカイブが層の連鎖を探索する。2つのバックボーンにおいて、Meta^nは8つのベンチマーク群すべてで従来の自己改善エージェントを上回る。最も顕著なケースは、スキルの記憶化に抵抗するよう構築されたARC-AGI-2であり、そこでMeta^nだけがゼロを超えるスコアを達成する。アブレーション実験は、再帰による利得の大部分が各層が次層へ渡す条件付けに由来すること、そしてプロンプトで規定されていないにもかかわらず、深さとともに層ごとの明確な役割が創発することを示している。コードはhttps://github.com/minnesotanlp/meta-nで公開されている。

English

Self-improving LLM agents refine answers, not the process that produces those answers. Systems that add a meta-level hold that level fixed, and those that edit themselves must leave part of their own editing machinery untouched to stay stable, capping the meta-depth they realize at roughly two. We present Meta^n, which keeps the meta-operation fixed and recurses on its input instead. That operation, Ω, is applied repeatedly to its own products, reading the traces of the solver stack below together with the code that produced them, then writing the next layer as a strategic pre-process and a library of callable helpers. Because Ω never changes, it cannot destabilize the system, and because its input strictly grows, each layer reasons from a higher vantage than the last. Depth is set by convergence rather than fixed in advance, and an evolutionary archive searches over layer chains. Across two backbones, Meta^n outperforms prior self-improving agents on all eight benchmark families. The sharpest case is ARC-AGI-2, built to resist skill memorization, where it alone scores above zero. Ablations indicate that most of the gain from recursion comes from the conditioning each layer passes to the next, and distinct layer roles emerge with depth although no prompt prescribes them. Code available at https://github.com/minnesotanlp/meta-n