모델 없는 강화 학습에서의 계획 현상 해석

Interpreting Emergent Planning in Model-Free Reinforcement Learning

April 2, 2025

저자: Thomas Bush, Stephen Chung, Usman Anwar, Adrià Garriga-Alonso, David Krueger

cs.AI

초록

우리는 모델-프리 강화 학습 에이전트가 계획을 학습할 수 있다는 첫 번째 기계적 증거를 제시한다. 이는 Sokoban(계획 연구를 위해 일반적으로 사용되는 벤치마크)에서 모델-프리 에이전트에 개념 기반 해석 가능성 방법론을 적용함으로써 달성되었다. 구체적으로, 우리는 Guez 등(2019)이 소개한 일반적인 모델-프리 에이전트인 DRC가 학습된 개념 표현을 사용하여 환경에 대한 행동의 장기적 영향을 예측하고 행동 선택에 영향을 미치는 내부 계획을 수립한다는 것을 보여준다. 우리의 방법론은 다음을 포함한다: (1) 계획 관련 개념 탐색, (2) 에이전트의 표현 내에서 계획 형성 조사, (3) 발견된 계획(에이전트의 표현 내)이 에이전트의 행동에 인과적 영향을 미치는지 중재를 통해 검증. 또한, 이러한 계획의 출현은 계획과 유사한 특성, 즉 추가 테스트 시간 계산으로부터 이익을 얻는 능력의 출현과 일치한다는 것을 보여준다. 마지막으로, 우리는 에이전트가 학습한 계획 알고리즘에 대한 질적 분석을 수행하고 병렬화된 양방향 탐색과 강한 유사성을 발견한다. 우리의 연구 결과는 최근 LLM(대형 언어 모델)에서 RL(강화 학습)을 통해 나타나는 계획 및 추론 능력의 추세를 고려할 때, 에이전트의 계획 행동을 뒷받침하는 내부 메커니즘에 대한 이해를 진전시킨다.

English

We present the first mechanistic evidence that model-free reinforcement learning agents can learn to plan. This is achieved by applying a methodology based on concept-based interpretability to a model-free agent in Sokoban -- a commonly used benchmark for studying planning. Specifically, we demonstrate that DRC, a generic model-free agent introduced by Guez et al. (2019), uses learned concept representations to internally formulate plans that both predict the long-term effects of actions on the environment and influence action selection. Our methodology involves: (1) probing for planning-relevant concepts, (2) investigating plan formation within the agent's representations, and (3) verifying that discovered plans (in the agent's representations) have a causal effect on the agent's behavior through interventions. We also show that the emergence of these plans coincides with the emergence of a planning-like property: the ability to benefit from additional test-time compute. Finally, we perform a qualitative analysis of the planning algorithm learned by the agent and discover a strong resemblance to parallelized bidirectional search. Our findings advance understanding of the internal mechanisms underlying planning behavior in agents, which is important given the recent trend of emergent planning and reasoning capabilities in LLMs through RL