Интерпретация возникающего планирования в обучении с подкреплением без модели

Interpreting Emergent Planning in Model-Free Reinforcement Learning

April 2, 2025

Авторы: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger

cs.AI

Аннотация

Мы представляем первые механистические доказательства того, что агенты, основанные на обучении с подкреплением без модели, могут научиться планированию. Это достигается за счет применения методологии, основанной на интерпретируемости через концепты, к агенту без модели в среде Sokoban — широко используемом бенчмарке для изучения планирования. В частности, мы демонстрируем, что DRC, универсальный агент без модели, представленный Guez et al. (2019), использует изученные представления концептов для внутреннего формирования планов, которые как предсказывают долгосрочные эффекты действий на среду, так и влияют на выбор действий. Наша методология включает: (1) поиск концептов, релевантных для планирования, (2) исследование формирования планов в представлениях агента и (3) проверку того, что обнаруженные планы (в представлениях агента) оказывают причинное влияние на поведение агента через вмешательства. Мы также показываем, что появление этих планов совпадает с возникновением свойства, похожего на планирование: способности извлекать выгоду из дополнительных вычислительных ресурсов во время тестирования. Наконец, мы проводим качественный анализ алгоритма планирования, изученного агентом, и обнаруживаем сильное сходство с параллелизованным двунаправленным поиском. Наши результаты углубляют понимание внутренних механизмов, лежащих в основе поведения планирования у агентов, что особенно важно в свете недавней тенденции появления способностей к планированию и рассуждению у крупных языковых моделей (LLM) через обучение с подкреплением.

English

We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL