L'agenzia dipende dal contesto.

Agency Is Frame-Dependent

February 6, 2025

Autori: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

Abstract

L'agency è la capacità di un sistema di indirizzare gli esiti verso un obiettivo ed è un argomento centrale di studio in biologia, filosofia, scienze cognitive e intelligenza artificiale. Determinare se un sistema manifesti l'agency è una questione notoriamente difficile: Dennett (1989), ad esempio, sottolinea l'enigma nel determinare quali principi possano stabilire se una roccia, un termostato o un robot possiedano ciascuno l'agency. Qui affrontiamo questo enigma dal punto di vista del reinforcement learning sostenendo che l'agency è fondamentalmente dipendente dal frame: Qualsiasi misurazione dell'agency di un sistema deve essere fatta relativamente a un frame di riferimento. Supportiamo questa affermazione presentando un argomento filosofico che ciascuna delle proprietà essenziali dell'agency proposte da Barandiaran et al. (2009) e Moreno (2018) sono esse stesse dipendenti dal frame. Concludiamo che qualsiasi scienza di base dell'agency richiede dipendenza dal frame e discutiamo le implicazioni di questa affermazione per il reinforcement learning.

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.