Evoluzione e il Punto Cieco Knightiano dell'Apprendimento Automatico

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025

Autori: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee

cs.AI

Abstract

Questo articolo sostiene che l'apprendimento automatico (ML) trascura ampiamente un importante aspetto dell'intelligenza generale: la robustezza di fronte a un futuro qualitativamente sconosciuto in un mondo aperto. Tale robustezza è correlata all'incertezza di Knight (KU) in economia, cioè l'incertezza che non può essere quantificata, esclusa dalla considerazione nei formalismi chiave dell'ML. Questo articolo si propone di individuare questo punto cieco, argomentarne l'importanza e catalizzare la ricerca per affrontarlo, ritenendo che sia necessario per creare un'AI veramente robusta in un mondo aperto. Per illuminare il punto cieco, confrontiamo un'area dell'ML, l'apprendimento per rinforzo (RL), con il processo di evoluzione biologica. Nonostante i notevoli progressi in corso, l'RL fatica ancora nelle situazioni di mondo aperto, spesso fallendo in situazioni impreviste. Ad esempio, l'idea di trasferire senza addestramento una politica di guida autonoma addestrata solo negli Stati Uniti nel Regno Unito attualmente sembra estremamente ambiziosa. In netto contrasto, l'evoluzione biologica produce regolarmente agenti che prosperano in un mondo aperto, talvolta anche in situazioni notevolmente fuori distribuzione (ad es. specie invasive; o esseri umani, che affrontano tale guida internazionale senza addestramento). Interessante è che l'evoluzione raggiunge tale robustezza senza teoria esplicita, formalismi o gradienti matematici. Esploriamo le ipotesi alla base dei tipici formalismi dell'RL, mostrando come limitino il coinvolgimento dell'RL con gli ignoti ignoti caratteristici di un mondo complesso in continua evoluzione. Inoltre, identifichiamo i meccanismi attraverso i quali i processi evolutivi favoriscono la robustezza di fronte a sfide nuove e imprevedibili, e discutiamo possibili percorsi per incorporarli algoritmamente. La conclusione è che la fragilità rimanente dell'ML potrebbe derivare dai punti ciechi nei suoi formalismi e che significativi progressi potrebbero derivare dal confronto diretto con la sfida dell'KU.

English

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.