Evaluación de la Inteligencia mediante Ensayo y Error

Evaluating Intelligence via Trial and Error

February 26, 2025

Autores: Jingtao Zhan, Jiahao Zhao, Jiayu Li, Yiqun Liu, Bo Zhang, Qingyao Ai, Jiaxin Mao, Hongning Wang, Min Zhang, Shaoping Ma

cs.AI

Resumen

La inteligencia es un rasgo crucial para que las especies encuentren soluciones dentro de un número limitado de intentos de prueba y error. Basándonos en esta idea, presentamos el Juego de Supervivencia como un marco para evaluar la inteligencia en función del número de intentos fallidos en un proceso de prueba y error. Menos fallos indican una mayor inteligencia. Cuando tanto la expectativa como la varianza del número de fallos son finitas, esto señala la capacidad de encontrar consistentemente soluciones a nuevos desafíos, lo que definimos como el Nivel Autónomo de inteligencia. Utilizando el Juego de Supervivencia, evaluamos exhaustivamente los sistemas de IA existentes. Nuestros resultados muestran que, aunque los sistemas de IA alcanzan el Nivel Autónomo en tareas simples, todavía están lejos de lograrlo en tareas más complejas, como la visión, la búsqueda, la recomendación y el lenguaje. Si bien escalar las tecnologías actuales de IA podría ayudar, esto tendría un costo astronómico. Las proyecciones sugieren que alcanzar el Nivel Autónomo para tareas generales requeriría 10^{26} parámetros. Para poner esto en perspectiva, cargar un modelo tan masivo requiere tantas GPUs H100 que su valor total es 10^{7} veces el valor de mercado de Apple Inc. Incluso con la Ley de Moore, soportar una escala de parámetros tan grande tomaría 70 años. Este costo asombroso resalta la complejidad de las tareas humanas y las insuficiencias de las tecnologías actuales de IA. Para investigar más a fondo este fenómeno, realizamos un análisis teórico del Juego de Supervivencia y sus resultados experimentales. Nuestros hallazgos sugieren que las tareas humanas poseen una propiedad de criticidad. Como resultado, el Nivel Autónomo requiere una comprensión profunda de los mecanismos subyacentes de la tarea. Sin embargo, los sistemas de IA actuales no comprenden completamente estos mecanismos y, en su lugar, dependen de una imitación superficial, lo que les dificulta alcanzar un nivel autónomo. Creemos que el Juego de Supervivencia no solo puede guiar el desarrollo futuro de la IA, sino también ofrecer profundas perspectivas sobre la inteligencia humana.

English

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require 10^{26} parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is 10^{7} times that of Apple Inc.'s market value. Even with Moore's Law, supporting such a parameter scale would take 70 years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task's underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.