Valutazione dell'Intelligenza attraverso Prove ed Errori

Evaluating Intelligence via Trial and Error

February 26, 2025

Autori: Jingtao Zhan, Jiahao Zhao, Jiayu Li, Yiqun Liu, Bo Zhang, Qingyao Ai, Jiaxin Mao, Hongning Wang, Min Zhang, Shaoping Ma

cs.AI

Abstract

L'intelligenza è un tratto cruciale per le specie nel trovare soluzioni entro un numero limitato di tentativi ed errori. Basandoci su questa idea, introduciamo il Survival Game come framework per valutare l'intelligenza in base al numero di tentativi falliti in un processo di prova ed errore. Un minor numero di fallimenti indica un'intelligenza superiore. Quando sia l'aspettativa che la varianza del numero di fallimenti sono finite, ciò segnala la capacità di trovare costantemente soluzioni a nuove sfide, che definiamo come Livello Autonomo di intelligenza. Utilizzando il Survival Game, valutiamo in modo completo i sistemi di IA esistenti. I nostri risultati mostrano che, sebbene i sistemi di IA raggiungano il Livello Autonomo in compiti semplici, sono ancora lontani dal raggiungerlo in compiti più complessi, come la visione, la ricerca, la raccomandazione e il linguaggio. Sebbene il ridimensionamento delle attuali tecnologie di IA potrebbe aiutare, ciò comporterebbe un costo astronomico. Le proiezioni suggeriscono che il raggiungimento del Livello Autonomo per compiti generali richiederebbe 10^{26} parametri. Per dare un'idea, caricare un modello così massiccio richiederebbe così tante GPU H100 che il loro valore totale sarebbe 10^{7} volte il valore di mercato di Apple Inc. Anche con la legge di Moore, supportare una scala di parametri così ampia richiederebbe 70 anni. Questo costo sbalorditivo evidenzia la complessità dei compiti umani e le inadeguatezze delle attuali tecnologie di IA. Per approfondire questo fenomeno, conduciamo un'analisi teorica del Survival Game e dei suoi risultati sperimentali. Le nostre scoperte suggeriscono che i compiti umani possiedono una proprietà di criticità. Di conseguenza, il Livello Autonomo richiede una profonda comprensione dei meccanismi sottostanti del compito. Tuttavia, gli attuali sistemi di IA non comprendono appieno questi meccanismi e si affidano invece a una mera imitazione superficiale, rendendo difficile per loro raggiungere un livello autonomo. Crediamo che il Survival Game non solo possa guidare lo sviluppo futuro dell'IA, ma offra anche profonde intuizioni sull'intelligenza umana.

English

Intelligence is a crucial trait for species to find solutions within a limited number of trial-and-error attempts. Building on this idea, we introduce Survival Game as a framework to evaluate intelligence based on the number of failed attempts in a trial-and-error process. Fewer failures indicate higher intelligence. When the expectation and variance of failure counts are both finite, it signals the ability to consistently find solutions to new challenges, which we define as the Autonomous Level of intelligence. Using Survival Game, we comprehensively evaluate existing AI systems. Our results show that while AI systems achieve the Autonomous Level in simple tasks, they are still far from it in more complex tasks, such as vision, search, recommendation, and language. While scaling current AI technologies might help, this would come at an astronomical cost. Projections suggest that achieving the Autonomous Level for general tasks would require 10^{26} parameters. To put this into perspective, loading such a massive model requires so many H100 GPUs that their total value is 10^{7} times that of Apple Inc.'s market value. Even with Moore's Law, supporting such a parameter scale would take 70 years. This staggering cost highlights the complexity of human tasks and the inadequacies of current AI technologies. To further investigate this phenomenon, we conduct a theoretical analysis of Survival Game and its experimental results. Our findings suggest that human tasks possess a criticality property. As a result, Autonomous Level requires a deep understanding of the task's underlying mechanisms. Current AI systems, however, do not fully grasp these mechanisms and instead rely on superficial mimicry, making it difficult for them to reach an autonomous level. We believe Survival Game can not only guide the future development of AI but also offer profound insights into human intelligence.