Meta^n: 창발적 깊이를 통한 재귀적 자기 개선

초록

자기 개선 LLM 에이전트는 답변을 개선할 뿐, 그 답변을 만들어내는 과정 자체는 개선하지 않는다. 메타 수준을 추가하는 시스템은 그 수준을 고정된 채로 두며, 스스로를 편집하는 시스템은 안정성을 유지하기 위해 자신의 편집 메커니즘 일부를 반드시 손대지 않은 채로 남겨두어야 하므로, 실현 가능한 메타 깊이는 대략 2로 제한된다. 우리는 메타 연산을 고정하고 대신 입력에 대해 재귀하는 Meta^n을 제시한다. 그 연산인 Ω는 자신의 산출물에 반복적으로 적용되며, 아래의 솔버 스택의 트레이스를 이를 생성한 코드와 함께 읽은 후, 다음 계층을 전략적 전처리 과정과 호출 가능한 보조 함수 라이브러리로 작성한다. Ω는 결코 변하지 않으므로 시스템을 불안정하게 만들 수 없고, 입력이 엄격히 증가하므로 각 계층은 이전 계층보다 더 높은 관점에서 추론한다. 깊이는 사전에 고정되지 않고 수렴에 따라 결정되며, 진화적 아카이브가 계층 체인을 탐색한다. 두 백본에 걸쳐 Meta^n은 여덟 가지 벤치마크 계열 모두에서 기존 자기 개선 에이전트를 능가한다. 가장 두드러진 사례는 스킬 암기를 저지하도록 설계된 ARC-AGI-2로, 여기서 Meta^n만이 0보다 높은 점수를 기록했다. 절제 실험에 따르면 재귀로 인한 이득의 대부분은 각 계층이 다음 계층에 전달하는 조건화에서 비롯되며, 어떤 프롬프트도 이를 규정하지 않았지만 깊이가 깊어질수록 계층별로 뚜렷한 역할이 나타난다. 코드는 https://github.com/minnesotanlp/meta-n에서 확인할 수 있다.

English

Self-improving LLM agents refine answers, not the process that produces those answers. Systems that add a meta-level hold that level fixed, and those that edit themselves must leave part of their own editing machinery untouched to stay stable, capping the meta-depth they realize at roughly two. We present Meta^n, which keeps the meta-operation fixed and recurses on its input instead. That operation, Ω, is applied repeatedly to its own products, reading the traces of the solver stack below together with the code that produced them, then writing the next layer as a strategic pre-process and a library of callable helpers. Because Ω never changes, it cannot destabilize the system, and because its input strictly grows, each layer reasons from a higher vantage than the last. Depth is set by convergence rather than fixed in advance, and an evolutionary archive searches over layer chains. Across two backbones, Meta^n outperforms prior self-improving agents on all eight benchmark families. The sharpest case is ARC-AGI-2, built to resist skill memorization, where it alone scores above zero. Ablations indicate that most of the gain from recursion comes from the conditioning each layer passes to the next, and distinct layer roles emerge with depth although no prompt prescribes them. Code available at https://github.com/minnesotanlp/meta-n