Agentie is afhankelijk van het kader.

Agency Is Frame-Dependent

February 6, 2025

Auteurs: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

Samenvatting

Agency is het vermogen van een systeem om resultaten naar een doel te sturen, en is een centraal onderwerp van studie binnen de biologie, filosofie, cognitieve wetenschap en kunstmatige intelligentie. Het vaststellen of een systeem agency vertoont is een beruchte moeilijke vraag: Dennett (1989) benadrukt bijvoorbeeld het raadsel van het bepalen welke principes kunnen bepalen of een steen, een thermostaat of een robot elk agency bezitten. Wij benaderen dit raadsel hier vanuit het gezichtspunt van reinforcement learning door te betogen dat agency fundamenteel afhankelijk is van het kader: Elke meting van het agency van een systeem moet relatief tot een referentiekader worden gemaakt. We ondersteunen deze bewering door een filosofisch argument te presenteren dat elk van de essentiële eigenschappen van agency voorgesteld door Barandiaran et al. (2009) en Moreno (2018) zelf afhankelijk zijn van het kader. We concluderen dat elke basiswetenschap van agency kader-afhankelijkheid vereist, en bespreken de implicaties van deze bewering voor reinforcement learning.

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.