A Agência é Dependente do Quadro.

Agency Is Frame-Dependent

February 6, 2025

Autores: David Abel, André Barreto, Michael Bowling, Will Dabney, Shi Dong, Steven Hansen, Anna Harutyunyan, Khimya Khetarpal, Clare Lyle, Razvan Pascanu, Georgios Piliouras, Doina Precup, Jonathan Richens, Mark Rowland, Tom Schaul, Satinder Singh

cs.AI

Resumo

A agência é a capacidade de um sistema direcionar resultados para um objetivo e é um tópico central de estudo em biologia, filosofia, ciência cognitiva e inteligência artificial. Determinar se um sistema exibe agência é uma questão notoriamente difícil: Dennett (1989), por exemplo, destaca o enigma de determinar quais princípios podem decidir se uma pedra, um termostato ou um robô possuem agência. Aqui abordamos esse enigma do ponto de vista do aprendizado por reforço, argumentando que a agência é fundamentalmente dependente do quadro de referência: Qualquer medição da agência de um sistema deve ser feita em relação a um quadro de referência. Apoiamos essa afirmação apresentando um argumento filosófico de que cada uma das propriedades essenciais da agência propostas por Barandiaran et al. (2009) e Moreno (2018) são elas mesmas dependentes do quadro de referência. Concluímos que qualquer ciência básica da agência requer dependência do quadro de referência e discutimos as implicações dessa afirmação para o aprendizado por reforço.

English

Agency is a system's capacity to steer outcomes toward a goal, and is a central topic of study across biology, philosophy, cognitive science, and artificial intelligence. Determining if a system exhibits agency is a notoriously difficult question: Dennett (1989), for instance, highlights the puzzle of determining which principles can decide whether a rock, a thermostat, or a robot each possess agency. We here address this puzzle from the viewpoint of reinforcement learning by arguing that agency is fundamentally frame-dependent: Any measurement of a system's agency must be made relative to a reference frame. We support this claim by presenting a philosophical argument that each of the essential properties of agency proposed by Barandiaran et al. (2009) and Moreno (2018) are themselves frame-dependent. We conclude that any basic science of agency requires frame-dependence, and discuss the implications of this claim for reinforcement learning.