Interpretando o Planejamento Emergente no Aprendizado por Reforço Livre de Modelos

Interpreting Emergent Planning in Model-Free Reinforcement Learning

April 2, 2025

Autores: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger

cs.AI

Resumo

Apresentamos as primeiras evidências mecanicistas de que agentes de aprendizado por reforço livre de modelo podem aprender a planejar. Isso é alcançado aplicando uma metodologia baseada em interpretabilidade conceitual a um agente livre de modelo em Sokoban -- um benchmark comumente usado para estudar planejamento. Especificamente, demonstramos que o DRC, um agente livre de modelo genérico introduzido por Guez et al. (2019), usa representações conceituais aprendidas para formular internamente planos que tanto preveem os efeitos de longo prazo das ações no ambiente quanto influenciam a seleção de ações. Nossa metodologia envolve: (1) investigar conceitos relevantes para o planejamento, (2) explorar a formação de planos nas representações do agente e (3) verificar que os planos descobertos (nas representações do agente) têm um efeito causal no comportamento do agente por meio de intervenções. Também mostramos que o surgimento desses planos coincide com o surgimento de uma propriedade semelhante ao planejamento: a capacidade de se beneficiar de computação adicional durante o teste. Por fim, realizamos uma análise qualitativa do algoritmo de planejamento aprendido pelo agente e descobrimos uma forte semelhança com a busca bidirecional paralelizada. Nossas descobertas avançam a compreensão dos mecanismos internos subjacentes ao comportamento de planejamento em agentes, o que é importante dada a recente tendência de capacidades emergentes de planejamento e raciocínio em LLMs por meio de RL.

English

We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL