Más allá de lo markoviano: Exploración reflexiva mediante RL Bayes-adaptativo para el razonamiento en LLM

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

Autores: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) entrenados mediante Aprendizaje por Refuerzo (RL, por sus siglas en inglés) han demostrado capacidades de razonamiento sólidas y comportamientos reflexivos emergentes, como la retroalimentación y la corrección de errores. Sin embargo, el RL Markoviano convencional limita la exploración a la fase de entrenamiento para aprender una política determinista óptima y depende de los contextos históricos únicamente a través del estado actual. Por lo tanto, sigue sin estar claro si el razonamiento reflexivo surgirá durante el entrenamiento de RL Markoviano o por qué es beneficioso en el momento de prueba. Para remediar esto, reformulamos la exploración reflexiva dentro del marco de RL Bayesiano Adaptativo, que optimiza explícitamente el retorno esperado bajo una distribución posterior sobre procesos de decisión de Markov. Esta formulación bayesiana incentiva inherentemente tanto la explotación maximizadora de recompensas como la exploración de recopilación de información mediante actualizaciones de creencias. Nuestro algoritmo resultante, BARL, instruye al LLM para combinar y cambiar estrategias basándose en los resultados observados, ofreciendo una guía fundamentada sobre cuándo y cómo el modelo debería explorar reflexivamente. Los resultados empíricos en tareas de razonamiento tanto sintéticas como matemáticas demuestran que BARL supera los enfoques estándar de RL Markoviano en el momento de prueba, logrando una eficiencia de tokens superior con una mejora en la efectividad de la exploración. Nuestro código está disponible en https://github.com/shenao-zhang/BARL.

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.