Het interpreteren van emergent plannen in modelvrije reinforcement learning

Interpreting Emergent Planning in Model-Free Reinforcement Learning

April 2, 2025

Auteurs: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger

cs.AI

Samenvatting

We presenteren het eerste mechanistische bewijs dat modelvrije reinforcement learning-agents kunnen leren plannen. Dit wordt bereikt door een methodologie toe te passen die gebaseerd is op concept-gebaseerde interpreteerbaarheid op een modelvrije agent in Sokoban -- een veelgebruikte benchmark voor het bestuderen van plannen. Specifiek tonen we aan dat DRC, een generieke modelvrije agent geïntroduceerd door Guez et al. (2019), geleerde conceptrepresentaties gebruikt om intern plannen te formuleren die zowel de langetermijneffecten van acties op de omgeving voorspellen als de actiekeuze beïnvloeden. Onze methodologie omvat: (1) het onderzoeken van planning-relevante concepten, (2) het onderzoeken van planvorming binnen de representaties van de agent, en (3) het verifiëren dat ontdekte plannen (in de representaties van de agent) een causaal effect hebben op het gedrag van de agent door interventies. We laten ook zien dat het ontstaan van deze plannen samenhangt met het ontstaan van een planning-achtige eigenschap: het vermogen om te profiteren van extra rekentijd tijdens het testen. Tot slot voeren we een kwalitatieve analyse uit van het planningsalgoritme dat door de agent is geleerd en ontdekken we een sterke gelijkenis met parallelle bidirectionele zoekalgoritmen. Onze bevindingen dragen bij aan het begrip van de interne mechanismen die ten grondslag liggen aan planningsgedrag in agents, wat belangrijk is gezien de recente trend van emergent plannen en redeneervermogen in LLM's door RL.

English

We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL