Эволюция и рыцарский слепой пятно машинного обучения

Evolution and The Knightian Blindspot of Machine Learning

January 22, 2025

Авторы: Joel Lehman, Elliot Meyerson, Tarek El-Gaaly, Kenneth O. Stanley, Tarin Ziyaee

cs.AI

Аннотация

Этот документ утверждает, что машинное обучение (ML) в значительной степени не учитывает важный аспект общего интеллекта: устойчивость к качественно неизвестному будущему в открытом мире. Такая устойчивость связана с рыцарской неопределенностью (KU) в экономике, то есть неопределенностью, которая не может быть количественно оценена, исключенной из рассмотрения в основных формализмах ML. Цель этого документа - выявить этую слепую зону, обосновать ее важность и стимулировать исследования по ее решению, которые, по нашему мнению, необходимы для создания по-настоящему устойчивого искусственного интеллекта в открытом мире. Для прояснения слепой зоны мы противопоставляем одну область ML, обучение с подкреплением (RL), процессу биологической эволюции. Несмотря на поразительные успехи, RL по-прежнему испытывает трудности в ситуациях открытого мира, часто терпя неудачи в неожиданных обстоятельствах. Например, идея нулевого переноса политики автопилота, обученной только в США, в Великобританию в настоящее время кажется чрезвычайно амбициозной. В ярком контрасте биологическая эволюция регулярно создает агентов, которые процветают в открытом мире, иногда даже в ситуациях, которые являются заметно вне распределения (например, инвазивные виды; или люди, которые действительно осуществляют такое нулевое международное вождение). Интересно, что эволюция достигает такой устойчивости без явной теории, формализмов или математических градиентов. Мы исследуем предположения, лежащие в основе типичных формализмов RL, показывая, как они ограничивают взаимодействие RL с неизвестными неизвестными, характерными для постоянно меняющегося сложного мира. Кроме того, мы выявляем механизмы, через которые эволюционные процессы способствуют устойчивости к новым и непредсказуемым вызовам, и обсуждаем потенциальные пути для алгоритмического воплощения их. Вывод состоит в том, что интригующая оставшаяся хрупкость ML может быть результатом слепых пятен в его формализмах и что значительные выгоды могут быть получены от прямого противостояния вызову KU.

English

This paper claims that machine learning (ML) largely overlooks an important facet of general intelligence: robustness to a qualitatively unknown future in an open world. Such robustness relates to Knightian uncertainty (KU) in economics, i.e. uncertainty that cannot be quantified, which is excluded from consideration in ML's key formalisms. This paper aims to identify this blind spot, argue its importance, and catalyze research into addressing it, which we believe is necessary to create truly robust open-world AI. To help illuminate the blind spot, we contrast one area of ML, reinforcement learning (RL), with the process of biological evolution. Despite staggering ongoing progress, RL still struggles in open-world situations, often failing under unforeseen situations. For example, the idea of zero-shot transferring a self-driving car policy trained only in the US to the UK currently seems exceedingly ambitious. In dramatic contrast, biological evolution routinely produces agents that thrive within an open world, sometimes even to situations that are remarkably out-of-distribution (e.g. invasive species; or humans, who do undertake such zero-shot international driving). Interestingly, evolution achieves such robustness without explicit theory, formalisms, or mathematical gradients. We explore the assumptions underlying RL's typical formalisms, showing how they limit RL's engagement with the unknown unknowns characteristic of an ever-changing complex world. Further, we identify mechanisms through which evolutionary processes foster robustness to novel and unpredictable challenges, and discuss potential pathways to algorithmically embody them. The conclusion is that the intriguing remaining fragility of ML may result from blind spots in its formalisms, and that significant gains may result from direct confrontation with the challenge of KU.