Interprétation de la planification émergente dans l'apprentissage par renforcement sans modèle

Interpreting Emergent Planning in Model-Free Reinforcement Learning

April 2, 2025

Auteurs: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger

cs.AI

Résumé

Nous présentons les premières preuves mécanistes montrant que des agents d'apprentissage par renforcement sans modèle peuvent apprendre à planifier. Ce résultat est obtenu en appliquant une méthodologie basée sur l'interprétabilité conceptuelle à un agent sans modèle dans Sokoban -- un benchmark couramment utilisé pour étudier la planification. Plus précisément, nous démontrons que DRC, un agent générique sans modèle introduit par Guez et al. (2019), utilise des représentations conceptuelles apprises pour formuler en interne des plans qui prédisent à la fois les effets à long terme des actions sur l'environnement et influencent la sélection des actions. Notre méthodologie comprend : (1) la recherche de concepts pertinents pour la planification, (2) l'étude de la formation des plans au sein des représentations de l'agent, et (3) la vérification que les plans découverts (dans les représentations de l'agent) ont un effet causal sur le comportement de l'agent via des interventions. Nous montrons également que l'émergence de ces plans coïncide avec l'apparition d'une propriété similaire à la planification : la capacité à bénéficier de ressources de calcul supplémentaires lors des tests. Enfin, nous effectuons une analyse qualitative de l'algorithme de planification appris par l'agent et découvrons une forte ressemblance avec une recherche bidirectionnelle parallélisée. Nos résultats approfondissent la compréhension des mécanismes internes sous-jacents au comportement de planification chez les agents, ce qui est important compte tenu de la tendance récente à l'émergence de capacités de planification et de raisonnement dans les LLMs via l'apprentissage par renforcement.

English

We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL