AI 자기 개선의 재귀적 임계성

초록

AI는 점차 미래 AI 시스템을 생산하는 연구개발(R&D) 과정에 활용되고 있다. 우리는 이러한 피드백이 언제 자기증폭적(self-amplifying)이 되는지에 대한 조건을 연구한다. 우리의 모델은 AI 능력 성장률이 기본 연구 생산성, 재귀적 피드백, 그리고 연구 발전의 증가하는 난이도에 어떻게 의존하는지를 설명한다. 우리는 개발 주기 전반에 걸쳐 개선 효과가 증폭되는지 또는 감쇠되는지를 결정하는 재귀 재생산지수 R_AI를 도출한다. 이 지수는 피드백의 강도와 이후 발전이 더 어려워지는 비율을 비교한다. R_AI>1일 때 개선 효과는 개발 주기를 거치며 복리적으로 누적되어 시스템이 자기증폭 체제에 들어선다. R_AI<1일 때 그 효과는 주기를 거치며 약화된다. 이러한 전이는 AI R&D 피드백 루프의 구조에 의존하며, 반드시 특정 수준의 모델 능력에서 발생할 필요는 없다. 따라서 시스템은 가속화가 가시화되기 전에 자기증폭 체제에 진입할 수 있으며, 반대로 자기증폭 없이도 빠른 진전이 발생할 수 있다. 더 높은 기본 연구 생산성은 시스템이 자기증폭적인지 여부를 바꾸지 않으면서 진전을 가속할 수 있지만, 개발 주기의 기간은 증폭을 제한하는 시간 척도가 된다. 연구 난이도의 증가는 자기증폭 기간을 종식시킬 수 있다. 모델을 여러 연구 주체로 확장하면, 개별 조직이 자기증폭적이지 않더라도 조직 간에 공유된 개선 효과가 전체 연구 생태계를 자기증폭적으로 만들 수 있음을 보여준다. 이 프레임워크는 재귀적 증폭을 다른 원인에 의한 빠른 진전과 구별하는 데 도움이 되는 AI R&D 시스템의 측정 가능한 속성들, 즉 재귀적 피드백의 강도, 개선 효과가 후속 시스템에 얼마나 효과적으로 전파되는지, 주기 기간, 그리고 추가 발전의 증가하는 난이도를 식별한다.

English

AI is increasingly used in the R\&D process that produces future AI systems. We study the conditions under which this feedback becomes self-amplifying. Our model describes how the rate of AI capability growth depends on baseline research productivity, recursive feedback, and the increasing difficulty of research progress. We derive a recursive reproduction number, R_{AI}, that determines whether improvements are amplified or damped across development cycles. This quantity compares the strength of feedback with the rate at which further progress becomes more difficult. When R_{AI}>1, the effects of improvements compound across development cycles, placing the system in a self-amplifying regime. When R_{AI}<1, their effects weaken across cycles. The transition depends on the structure of the AI R\&D feedback loop and need not occur at any particular level of model capability. A system can therefore enter a self-amplifying regime before acceleration becomes visible, while rapid progress can also occur without self-amplification. Higher baseline research productivity can accelerate progress without changing whether the system is self-amplifying, but the duration of the development cycle becomes a limiting timescale for amplification. Increasing research difficulty can end a period of self-amplification. Extending the model to multiple research actors shows that improvements shared across organizations can make the overall research ecosystem self-amplifying even when no individual actor is. The framework identifies measurable properties of AI R\&D systems that can help distinguish recursive amplification from rapid progress driven by other sources, including the strength of recursive feedback, how effectively improvements propagate into successor systems, cycle duration, and the increasing difficulty of further progress.