Interpretation von emergentem Planen in modellfreiem Reinforcement Learning

Interpreting Emergent Planning in Model-Free Reinforcement Learning

April 2, 2025

Autoren: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger

cs.AI

Zusammenfassung

Wir präsentieren die ersten mechanistischen Belege dafür, dass modellfreie Reinforcement-Learning-Agenten Planung erlernen können. Dies wird durch die Anwendung einer Methodik basierend auf konzeptbasierter Interpretierbarkeit auf einen modellfreien Agenten in Sokoban erreicht – einem häufig verwendeten Benchmark für die Untersuchung von Planung. Insbesondere zeigen wir, dass DRC, ein generischer modellfreier Agent, der von Guez et al. (2019) eingeführt wurde, gelernte Konzeptrepräsentationen verwendet, um intern Pläne zu formulieren, die sowohl die langfristigen Auswirkungen von Aktionen auf die Umwelt vorhersagen als auch die Aktionsauswahl beeinflussen. Unsere Methodik umfasst: (1) die Suche nach planungsrelevanten Konzepten, (2) die Untersuchung der Planbildung innerhalb der Repräsentationen des Agenten und (3) die Überprüfung, dass entdeckte Pläne (in den Repräsentationen des Agenten) einen kausalen Effekt auf das Verhalten des Agenten durch Interventionen haben. Wir zeigen auch, dass das Auftreten dieser Pläne mit dem Auftreten einer planungsähnlichen Eigenschaft zusammenfällt: der Fähigkeit, von zusätzlicher Rechenleistung während der Testphase zu profitieren. Schließlich führen wir eine qualitative Analyse des vom Agenten erlernten Planungsalgorithmus durch und entdecken eine starke Ähnlichkeit mit parallelisiertem bidirektionalem Suchverfahren. Unsere Erkenntnisse erweitern das Verständnis der internen Mechanismen, die Planungsverhalten in Agenten zugrunde liegen, was angesichts des aktuellen Trends von emergenten Planungs- und Denkfähigkeiten in LLMs durch RL von Bedeutung ist.

English

We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL