Avaliando a Inteligência por Meio de Tentativa e Erro

Evaluating Intelligence via Trial and Error

February 26, 2025

Autores: Jingtao Zhan, Jiahao Zhao, Jiayu Li, Yiqun Liu, Bo Zhang, Qingyao Ai, Jiaxin Mao, Hongning Wang, Min Zhang, Shaoping Ma

cs.AI

Resumo

A inteligência é uma característica crucial para que as espécies encontrem soluções dentro de um número limitado de tentativas de erro e acerto. Com base nessa ideia, introduzimos o Survival Game como uma estrutura para avaliar a inteligência com base no número de tentativas fracassadas em um processo de erro e acerto. Menos falhas indicam maior inteligência. Quando a expectativa e a variância das contagens de falhas são ambas finitas, isso sinaliza a capacidade de encontrar consistentemente soluções para novos desafios, o que definimos como o Nível Autônomo de inteligência. Usando o Survival Game, avaliamos de forma abrangente os sistemas de IA existentes. Nossos resultados mostram que, embora os sistemas de IA alcancem o Nível Autônomo em tarefas simples, eles ainda estão longe disso em tarefas mais complexas, como visão, busca, recomendação e linguagem. Embora a escalabilidade das tecnologias atuais de IA possa ajudar, isso viria a um custo astronômico. Projeções sugerem que alcançar o Nível Autônomo para tarefas gerais exigiria 10^{26} parâmetros. Para colocar isso em perspectiva, carregar um modelo tão massivo exigiria tantos GPUs H100 que seu valor total seria 10^{7} vezes o valor de mercado da Apple Inc. Mesmo com a Lei de Moore, suportar tal escala de parâmetros levaria 70 anos. Esse custo impressionante destaca a complexidade das tarefas humanas e as inadequações das tecnologias atuais de IA. Para investigar ainda mais esse fenômeno, realizamos uma análise teórica do Survival Game e seus resultados experimentais. Nossas descobertas sugerem que as tarefas humanas possuem uma propriedade de criticidade. Como resultado, o Nível Autônomo requer um profundo entendimento dos mecanismos subjacentes da tarefa. No entanto, os sistemas de IA atuais não compreendem totalmente esses mecanismos e, em vez disso, dependem de uma imitação superficial, dificultando que alcancem um nível autônomo. Acreditamos que o Survival Game pode não apenas orientar o desenvolvimento futuro da IA, mas também oferecer insights profundos sobre a inteligência humana.

English

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require 10^{26} parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is 10^{7} times that of Apple Inc.'s market value. Even with Moore's Law, supporting such a parameter scale would take 70 years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task's underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.