Оценка интеллекта через метод проб и ошибок

Evaluating Intelligence via Trial and Error

February 26, 2025

Авторы: Jingtao Zhan, Jiahao Zhao, Jiayu Li, Yiqun Liu, Bo Zhang, Qingyao Ai, Jiaxin Mao, Hongning Wang, Min Zhang, Shaoping Ma

cs.AI

Аннотация

Интеллект — это ключевая черта, позволяющая видам находить решения за ограниченное количество попыток методом проб и ошибок. Основываясь на этой идее, мы представляем игру на выживание (Survival Game) как фреймворк для оценки интеллекта на основе количества неудачных попыток в процессе проб и ошибок. Меньшее количество неудач указывает на более высокий уровень интеллекта. Когда и ожидаемое значение, и дисперсия количества неудач конечны, это сигнализирует о способности последовательно находить решения для новых задач, что мы определяем как Автономный Уровень интеллекта. Используя игру на выживание, мы всесторонне оцениваем существующие системы ИИ. Наши результаты показывают, что, хотя системы ИИ достигают Автономного Уровня в простых задачах, они всё ещё далеки от него в более сложных задачах, таких как зрение, поиск, рекомендации и язык. Хотя масштабирование текущих технологий ИИ может помочь, это потребует астрономических затрат. Прогнозы показывают, что достижение Автономного Уровня для общих задач потребует 10^{26} параметров. Чтобы представить это в перспективе, загрузка такой огромной модели потребует такого количества GPU H100, что их общая стоимость будет в 10^{7} раз превышать рыночную стоимость Apple Inc. Даже с учётом закона Мура поддержка такого масштаба параметров займёт 70 лет. Эти ошеломляющие затраты подчеркивают сложность человеческих задач и недостатки современных технологий ИИ. Для дальнейшего изучения этого явления мы проводим теоретический анализ игры на выживание и её экспериментальных результатов. Наши выводы свидетельствуют о том, что человеческие задачи обладают свойством критичности. В результате Автономный Уровень требует глубокого понимания механизмов, лежащих в основе задачи. Однако современные системы ИИ не полностью понимают эти механизмы и вместо этого полагаются на поверхностное подражание, что затрудняет достижение ими автономного уровня. Мы считаем, что игра на выживание может не только направлять будущее развитие ИИ, но и предлагать глубокие инсайты в природу человеческого интеллекта.

English

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require 10^{26} parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is 10^{7} times that of Apple Inc.'s market value. Even with Moore's Law, supporting such a parameter scale would take 70 years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task's underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.