エージェンシーはフレームに依存しています。

Agency Is Frame-Dependent

February 6, 2025

著者: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

要旨

エージェンシーとは、システムが目標に向かって結果を誘導する能力であり、生物学、哲学、認知科学、人工知能の分野で研究されている中心的なトピックです。システムがエージェンシーを示すかどうかを判断することは、有名な難問です。例えば、Dennett（1989）は、岩、温度調節器、またはロボットがそれぞれエージェンシーを持つかどうかを決定する原則をどのように決定するかというパズルを強調しています。ここでは、強化学習の観点からこのパズルに取り組み、エージェンシーは基本的にフレーム依存であると主張します。システムのエージェンシーを測定する際には、参照フレームに対して行われる必要があると考えます。Barandiaranら（2009）やMoreno（2018）によって提案されたエージェンシーの基本的な特性が、それ自体がフレーム依存であるという哲学的な議論を提示することで、この主張を支持します。エージェンシーの基礎科学にはフレーム依存性が必要であり、この主張が強化学習に与える影響について議論します。

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.