マルコフ性を超えて：LLM推論のためのベイズ適応型強化学習による内省的探索

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

著者: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

要旨

強化学習（RL）によって訓練された大規模言語モデル（LLMs）は、強力な推論能力と、バックトラッキングやエラー修正などの発展的な反射的行動を示すことが確認されている。しかし、従来のマルコフ的RLは、最適な決定論的ポリシーを学習するために探索を訓練段階に限定し、現在の状態を通じてのみ履歴コンテキストに依存する。そのため、マルコフ的RLの訓練中に反射的推論が発現するか、またはテスト時にそれらがなぜ有益であるかは依然として不明である。この問題を解決するため、我々は反射的探索をベイズ適応RL（Bayes-Adaptive RL）フレームワーク内で再構築した。このフレームワークでは、マルコフ決定過程に対する事後分布の下で期待リターンを明示的に最適化する。このベイズ的定式化は、信念更新を通じて、報酬最大化のための利用と情報収集のための探索の両方を本質的に促進する。我々が提案するアルゴリズム、BARLは、観測された結果に基づいてLLMに戦略を組み合わせたり切り替えたりするよう指示し、モデルがいつ、どのように反射的に探索すべきかについての原則的なガイダンスを提供する。合成タスクおよび数学的推論タスクにおける実験結果は、BARLがテスト時に標準的なマルコフ的RLアプローチを上回り、探索効果の向上とともに優れたトークン効率を達成することを示している。我々のコードはhttps://github.com/shenao-zhang/BARLで公開されている。

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.