Evolución y El Punto Ciego Knightiano del Aprendizaje Automático

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025

Autores: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee

cs.AI

Resumen

Este artículo sostiene que el aprendizaje automático (AA) pasa por alto en gran medida un aspecto importante de la inteligencia general: la robustez ante un futuro cualitativamente desconocido en un mundo abierto. Esta robustez se relaciona con la incertidumbre de Knight (IK) en economía, es decir, la incertidumbre que no se puede cuantificar, la cual se excluye de la consideración en las formulaciones clave del AA. Este artículo tiene como objetivo identificar este punto ciego, argumentar su importancia y catalizar la investigación para abordarlo, lo cual consideramos necesario para crear una IA verdaderamente robusta en un mundo abierto. Para ayudar a iluminar el punto ciego, contrastamos un área del AA, el aprendizaje por refuerzo (AR), con el proceso de evolución biológica. A pesar del asombroso progreso continuo, el AR todavía lucha en situaciones de mundo abierto, a menudo fallando ante situaciones imprevistas. Por ejemplo, la idea de transferir sin entrenamiento una política de conducción autónoma entrenada solo en los EE. UU. al Reino Unido actualmente parece sumamente ambiciosa. En un dramático contraste, la evolución biológica rutinariamente produce agentes que prosperan en un mundo abierto, a veces incluso en situaciones que son notablemente atípicas (por ejemplo, especies invasoras; o humanos, que realizan dicha conducción internacional sin entrenamiento). Curiosamente, la evolución logra tal robustez sin teoría explícita, formalismos o gradientes matemáticos. Exploramos las suposiciones subyacentes a los formalismos típicos del AR, mostrando cómo limitan la interacción del AR con las incógnitas características de un mundo complejo y en constante cambio. Además, identificamos mecanismos a través de los cuales los procesos evolutivos fomentan la robustez ante desafíos novedosos e impredecibles, y discutimos posibles vías para incorporarlos algorítmicamente. La conclusión es que la intrigante fragilidad restante del AA puede deberse a puntos ciegos en sus formalismos, y que se pueden obtener ganancias significativas al enfrentar directamente el desafío de la IK.

English

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.