Além do Markoviano: Exploração Reflexiva via RL Bayes-Adaptativo para Raciocínio em LLM

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

Autores: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

Resumo

Modelos de Linguagem de Grande Escala (LLMs) treinados por meio de Aprendizado por Reforço (RL) têm demonstrado fortes capacidades de raciocínio e comportamentos reflexivos emergentes, como retrocesso e correção de erros. No entanto, o RL Markoviano convencional limita a exploração à fase de treinamento para aprender uma política determinística ótima e depende dos contextos históricos apenas através do estado atual. Portanto, permanece incerto se o raciocínio reflexivo emergirá durante o treinamento de RL Markoviano, ou por que ele é benéfico no momento do teste. Para remediar isso, reformulamos a exploração reflexiva dentro do framework de RL Bayesiano Adaptativo, que otimiza explicitamente o retorno esperado sob uma distribuição posterior sobre processos de decisão de Markov. Essa formulação Bayesiana incentiva intrinsecamente tanto a exploração de maximização de recompensa quanto a exploração de coleta de informações por meio de atualizações de crença. Nosso algoritmo resultante, BARL, instrui o LLM a costurar e alternar estratégias com base nos resultados observados, oferecendo orientação fundamentada sobre quando e como o modelo deve explorar reflexivamente. Resultados empíricos em tarefas de raciocínio sintético e matemático demonstram que o BARL supera abordagens padrão de RL Markoviano no momento do teste, alcançando eficiência superior de tokens com maior eficácia na exploração. Nosso código está disponível em https://github.com/shenao-zhang/BARL.

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.