Agentur ist rahmenabhängig.

Agency Is Frame-Dependent

February 6, 2025

Autoren: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

Zusammenfassung

Agentur ist die Fähigkeit eines Systems, Ergebnisse auf ein Ziel hin zu lenken, und ist ein zentrales Thema in den Bereichen Biologie, Philosophie, Kognitionswissenschaft und künstliche Intelligenz. Die Feststellung, ob ein System Agentur zeigt, ist eine berüchtigt schwierige Frage: Dennett (1989) hebt beispielsweise das Rätsel hervor, welche Prinzipien entscheiden können, ob ein Stein, ein Thermostat oder ein Roboter jeweils über Agentur verfügen. Wir behandeln dieses Rätsel hier aus der Perspektive des Reinforcement-Learning, indem wir argumentieren, dass Agentur grundsätzlich rahmenabhängig ist: Jede Messung der Agentur eines Systems muss relativ zu einem Bezugssystem erfolgen. Wir stützen diese Behauptung, indem wir ein philosophisches Argument vorlegen, dass die von Barandiaran et al. (2009) und Moreno (2018) vorgeschlagenen wesentlichen Eigenschaften der Agentur selbst rahmenabhängig sind. Wir kommen zu dem Schluss, dass jede grundlegende Wissenschaft der Agentur Rahmendependenz erfordert, und diskutieren die Auswirkungen dieser Behauptung für das Reinforcement-Learning.

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.