L'agence dépend du cadre.
Agency Is Frame-Dependent
February 6, 2025
Auteurs: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh
cs.AI
Résumé
L'agence est la capacité d'un système à orienter les résultats vers un objectif, et constitue un sujet central d'étude en biologie, philosophie, sciences cognitives et intelligence artificielle. Déterminer si un système manifeste de l'agence est une question notoirement difficile : Dennett (1989), par exemple, souligne le casse-tête de déterminer quels principes peuvent décider si un rocher, un thermostat ou un robot possèdent chacun de l'agence. Nous abordons ici ce casse-tête du point de vue de l'apprentissage par renforcement en soutenant que l'agence est fondamentalement dépendante du cadre : Toute mesure de l'agence d'un système doit être effectuée par rapport à un référentiel. Nous étayons cette affirmation en présentant un argument philosophique selon lequel chacune des propriétés essentielles de l'agence proposées par Barandiaran et al. (2009) et Moreno (2018) sont elles-mêmes dépendantes du cadre. Nous concluons que toute science fondamentale de l'agence nécessite la dépendance au cadre, et discutons des implications de cette affirmation pour l'apprentissage par renforcement.
English
Agency is a system's capacity to steer outcomes toward a goal, and is a
central topic of study across biology, philosophy, cognitive science, and
artificial intelligence. Determining if a system exhibits agency is a
notoriously difficult question: Dennett (1989), for instance, highlights the
puzzle of determining which principles can decide whether a rock, a thermostat,
or a robot each possess agency. We here address this puzzle from the viewpoint
of reinforcement learning by arguing that agency is fundamentally
frame-dependent: Any measurement of a system's agency must be made relative to
a reference frame. We support this claim by presenting a philosophical argument
that each of the essential properties of agency proposed by Barandiaran et al.
(2009) and Moreno (2018) are themselves frame-dependent. We conclude that any
basic science of agency requires frame-dependence, and discuss the implications
of this claim for reinforcement learning.