마르코비안을 넘어서: LLM 추론을 위한 베이즈 적응형 강화학습을 통한 반사적 탐색

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

저자: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

초록

강화 학습(Reinforcement Learning, RL)을 통해 훈련된 대형 언어 모델(Large Language Models, LLMs)은 강력한 추론 능력과 역추적 및 오류 수정과 같은 반성적 행동을 보여왔습니다. 그러나 기존의 마르코비안 RL은 최적의 결정론적 정책을 학습하기 위해 탐색을 훈련 단계로 제한하며, 현재 상태를 통해서만 이력 컨텍스트에 의존합니다. 따라서 마르코비안 RL 훈련 중에 반성적 추론이 발생할지, 또는 테스트 시점에 왜 유용한지 여부는 여전히 불분명합니다. 이를 해결하기 위해, 우리는 반성적 탐색을 베이즈 적응형 RL(Bayes-Adaptive RL) 프레임워크 내에서 재구성합니다. 이 프레임워크는 마르코비안 결정 과정에 대한 사후 분포 하에서 기대 수익을 명시적으로 최적화합니다. 이 베이지안 공식은 보상 극대화를 위한 활용과 정보 수집을 위한 탐색을 믿음 업데이트를 통해 내재적으로 장려합니다. 우리의 결과 알고리즘인 BARL은 관찰된 결과를 기반으로 LLM이 전략을 조합하고 전환하도록 지시하며, 모델이 반성적으로 탐색해야 할 시점과 방법에 대한 원칙적인 지침을 제공합니다. 합성 및 수학적 추론 작업에 대한 실험 결과는 BARL이 테스트 시점에서 표준 마르코비안 RL 접근법을 능가하며, 개선된 탐색 효과와 함께 우수한 토큰 효율성을 달성함을 보여줍니다. 우리의 코드는 https://github.com/shenao-zhang/BARL에서 확인할 수 있습니다.

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.