La Agencia es Dependiente del Marco.

Agency Is Frame-Dependent

February 6, 2025

Autores: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

Resumen

La agencia es la capacidad de un sistema para dirigir los resultados hacia un objetivo, y es un tema central de estudio en biología, filosofía, ciencia cognitiva e inteligencia artificial. Determinar si un sistema exhibe agencia es una pregunta notoriamente difícil: Dennett (1989), por ejemplo, destaca el enigma de determinar qué principios pueden decidir si una roca, un termostato o un robot poseen agencia. Aquí abordamos este enigma desde el punto de vista del aprendizaje por refuerzo argumentando que la agencia es fundamentalmente dependiente del marco de referencia: Cualquier medición de la agencia de un sistema debe realizarse en relación con un marco de referencia. Apoyamos esta afirmación presentando un argumento filosófico de que cada una de las propiedades esenciales de la agencia propuestas por Barandiaran et al. (2009) y Moreno (2018) son en sí mismas dependientes del marco de referencia. Concluimos que cualquier ciencia básica de la agencia requiere dependencia del marco de referencia, y discutimos las implicaciones de esta afirmación para el aprendizaje por refuerzo.

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.