За пределами марковских моделей: Рефлексивное исследование с помощью байесовской адаптивной RL для рассуждений на основе LLM

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

Авторы: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

Аннотация

Крупные языковые модели (LLM), обученные с использованием обучения с подкреплением (RL), продемонстрировали мощные способности к рассуждению и проявление рефлексивного поведения, такого как возврат к предыдущим шагам и исправление ошибок. Однако традиционное марковское RL ограничивает исследование только фазой обучения для поиска оптимальной детерминированной политики и зависит от контекста истории исключительно через текущее состояние. Поэтому остается неясным, будет ли рефлексивное рассуждение возникать в процессе марковского RL-обучения и почему оно полезно на этапе тестирования. Чтобы устранить этот пробел, мы переосмысливаем рефлексивное исследование в рамках байесовского адаптивного RL, который явно оптимизирует ожидаемую доходность при апостериорном распределении над марковскими процессами принятия решений. Эта байесовская формулировка по своей сути стимулирует как эксплуатацию, направленную на максимизацию вознаграждения, так и исследование, направленное на сбор информации, через обновление убеждений. Наш алгоритм, BARL, предписывает LLM комбинировать и переключать стратегии на основе наблюдаемых результатов, предлагая принципиальные рекомендации о том, когда и как модель должна рефлексивно исследовать. Эмпирические результаты на синтетических задачах и задачах математического рассуждения показывают, что BARL превосходит стандартные подходы марковского RL на этапе тестирования, достигая превосходной эффективности использования токенов с улучшенной эффективностью исследования. Наш код доступен по адресу https://github.com/shenao-zhang/BARL.

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.