Évolution et l'angle mort knightien de l'apprentissage automatique

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025

Auteurs: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee

cs.AI

Résumé

Cet article affirme que l'apprentissage automatique (ML) néglige largement un aspect important de l'intelligence générale : la robustesse face à un avenir qualitativement inconnu dans un monde ouvert. Cette robustesse est liée à l'incertitude de Knight (KU) en économie, c'est-à-dire une incertitude qui ne peut être quantifiée, et qui est exclue des formalismes clés de l'IA. Cet article vise à identifier ce point aveugle, à argumenter son importance et à catalyser la recherche pour y remédier, ce que nous estimons nécessaire pour créer une IA véritablement robuste dans un monde ouvert. Pour éclairer ce point aveugle, nous contrastons un domaine de l'IA, l'apprentissage par renforcement (RL), avec le processus d'évolution biologique. Malgré des progrès considérables en cours, le RL peine encore dans des situations de monde ouvert, échouant souvent face à des situations imprévues. Par exemple, l'idée de transférer sans entraînement une politique de conduite autonome conçue uniquement aux États-Unis au Royaume-Uni semble actuellement excessivement ambitieuse. En contraste frappant, l'évolution biologique produit régulièrement des agents qui prospèrent dans un monde ouvert, parfois même dans des situations remarquablement hors distribution (par exemple, les espèces invasives ; ou les humains, qui entreprennent une telle conduite internationale sans entraînement). De manière intéressante, l'évolution atteint une telle robustesse sans théorie explicite, formalismes ou gradients mathématiques. Nous explorons les hypothèses sous-jacentes aux formalismes typiques du RL, montrant comment ils limitent l'engagement du RL avec les inconnus caractéristiques d'un monde complexe en évolution constante. De plus, nous identifions les mécanismes par lesquels les processus évolutifs favorisent la robustesse face à des défis nouveaux et imprévisibles, et discutons des voies potentielles pour les incarner algorithmiquement. En conclusion, la fragilité intrigante persistante de l'IA peut résulter de points aveugles dans ses formalismes, et des gains significatifs pourraient découler d'une confrontation directe avec le défi de l'incertitude de Knight.

English

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.