시행착오를 통한 지능 평가

Evaluating Intelligence via Trial and Error

February 26, 2025

저자: Jingtao Zhan, Jiahao Zhao, Jiayu Li, Yiqun Liu, Bo Zhang, Qingyao Ai, Jiaxin Mao, Hongning Wang, Min Zhang, Shaoping Ma

cs.AI

초록

지능은 제한된 시행착오 횟수 내에서 해결책을 찾아내는 데 있어 생물 종에게 필수적인 특성입니다. 이러한 아이디어를 바탕으로, 우리는 시행착오 과정에서의 실패 횟수를 기반으로 지능을 평가하는 프레임워크로서 '생존 게임(Survival Game)'을 소개합니다. 실패 횟수가 적을수록 더 높은 지능을 나타냅니다. 실패 횟수의 기대값과 분산이 모두 유한할 때, 이는 새로운 도전에 대해 일관되게 해결책을 찾아낼 수 있는 능력을 의미하며, 이를 우리는 '자율 수준(Autonomous Level)'의 지능으로 정의합니다. 생존 게임을 사용하여 우리는 기존 AI 시스템을 포괄적으로 평가했습니다. 그 결과, AI 시스템이 단순한 작업에서는 자율 수준에 도달했지만, 시각, 검색, 추천, 언어와 같은 더 복잡한 작업에서는 여전히 그 수준에 미치지 못하는 것으로 나타났습니다. 현재의 AI 기술을 확장하는 것이 도움이 될 수는 있지만, 이는 천문학적인 비용을 수반할 것입니다. 예측에 따르면, 일반적인 작업에 대해 자율 수준을 달성하려면 10^{26}개의 파라미터가 필요할 것으로 보입니다. 이를 더 쉽게 이해하기 위해, 이렇게 거대한 모델을 로드하는 데 필요한 H100 GPU의 총 가치는 Apple Inc.의 시가총액의 10^{7}배에 달합니다. 무어의 법칙을 고려하더라도, 이러한 규모의 파라미터를 지원하는 데는 70년이 걸릴 것입니다. 이 엄청난 비용은 인간 작업의 복잡성과 현재 AI 기술의 부족함을 강조합니다. 이 현상을 더 깊이 연구하기 위해, 우리는 생존 게임과 그 실험 결과에 대한 이론적 분석을 수행했습니다. 우리의 연구 결과는 인간 작업이 임계성(criticality) 특성을 가지고 있음을 시사합니다. 결과적으로, 자율 수준은 작업의 근본적인 메커니즘에 대한 깊은 이해를 요구합니다. 그러나 현재의 AI 시스템은 이러한 메커니즘을 완전히 이해하지 못하고 표면적인 모방에 의존하고 있어, 자율 수준에 도달하기 어렵습니다. 우리는 생존 게임이 AI의 미래 발전을 이끌 뿐만 아니라 인간 지능에 대한 깊은 통찰을 제공할 수 있다고 믿습니다.

English

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require 10^{26} parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is 10^{7} times that of Apple Inc.'s market value. Even with Moore's Law, supporting such a parameter scale would take 70 years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task's underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.