Агентство зависит от рамки.

Agency Is Frame-Dependent

February 6, 2025

Авторы: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

Аннотация

Агентность - это способность системы направлять результаты к цели и является центральной темой исследований в биологии, философии, когнитивной науке и искусственном интеллекте. Определение, обладает ли система агентностью, является известно сложным вопросом: например, Деннет (1989) подчеркивает загадку в определении, какие принципы могут определить, обладают ли камень, термостат или робот агентностью. Мы здесь рассматриваем эту загадку с точки зрения обучения с подкреплением, утверждая, что агентность фундаментально зависит от рамки: любое измерение агентности системы должно проводиться относительно опорной рамки. Мы поддерживаем это утверждение, представляя философский аргумент, что каждое из существенных свойств агентности, предложенных Барандиараном и др. (2009) и Морено (2018), сами по себе зависят от рамки. Мы приходим к выводу, что любая основная наука об агентности требует зависимости от рамки, и обсуждаем последствия этого утверждения для обучения с подкреплением.

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.