Évaluation de l'intelligence par essais et erreurs

Evaluating Intelligence via Trial and Error

February 26, 2025

Auteurs: Jingtao Zhan, Jiahao Zhao, Jiayu Li, Yiqun Liu, Bo Zhang, Qingyao Ai, Jiaxin Mao, Hongning Wang, Min Zhang, Shaoping Ma

cs.AI

Résumé

L'intelligence est une caractéristique cruciale permettant aux espèces de trouver des solutions en un nombre limité d'essais et d'erreurs. En nous appuyant sur cette idée, nous introduisons le Jeu de Survie comme un cadre pour évaluer l'intelligence en fonction du nombre d'échecs dans un processus d'essais et d'erreurs. Moins il y a d'échecs, plus l'intelligence est élevée. Lorsque l'espérance et la variance du nombre d'échecs sont toutes deux finies, cela indique la capacité à trouver systématiquement des solutions à de nouveaux défis, ce que nous définissons comme le Niveau Autonome d'intelligence. En utilisant le Jeu de Survie, nous évaluons de manière exhaustive les systèmes d'IA existants. Nos résultats montrent que si les systèmes d'IA atteignent le Niveau Autonome dans des tâches simples, ils en sont encore loin dans des tâches plus complexes, telles que la vision, la recherche, la recommandation et le langage. Bien que la mise à l'échelle des technologies actuelles d'IA puisse aider, cela se ferait à un coût astronomique. Les projections suggèrent que l'atteinte du Niveau Autonome pour des tâches générales nécessiterait 10^{26} paramètres. Pour mettre cela en perspective, le chargement d'un modèle aussi massif nécessite tant de GPU H100 que leur valeur totale est 10^{7} fois celle de la capitalisation boursière d'Apple Inc. Même avec la loi de Moore, soutenir une telle échelle de paramètres prendrait 70 ans. Ce coût vertigineux met en lumière la complexité des tâches humaines et les insuffisances des technologies actuelles d'IA. Pour approfondir cette question, nous menons une analyse théorique du Jeu de Survie et de ses résultats expérimentaux. Nos conclusions suggèrent que les tâches humaines possèdent une propriété de criticité. Par conséquent, le Niveau Autonome nécessite une compréhension approfondie des mécanismes sous-jacents de la tâche. Cependant, les systèmes d'IA actuels ne saisissent pas pleinement ces mécanismes et s'appuient plutôt sur une imitation superficielle, ce qui rend difficile l'atteinte d'un niveau autonome. Nous croyons que le Jeu de Survie peut non seulement guider le développement futur de l'IA, mais aussi offrir des perspectives profondes sur l'intelligence humaine.

English

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require 10^{26} parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is 10^{7} times that of Apple Inc.'s market value. Even with Moore's Law, supporting such a parameter scale would take 70 years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task's underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.