Au-delà du Markovien : Exploration réflexive via l'apprentissage par renforcement Bayes-adaptatif pour le raisonnement des LLM

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

Auteurs: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

Résumé

Les modèles de langage de grande taille (LLMs) entraînés via l'apprentissage par renforcement (RL) ont démontré de solides capacités de raisonnement et des comportements réflexifs émergents, tels que le retour en arrière et la correction d'erreurs. Cependant, le RL Markovien conventionnel limite l'exploration à la phase d'entraînement pour apprendre une politique déterministe optimale et ne dépend des contextes historiques qu'à travers l'état actuel. Par conséquent, il reste incertain si le raisonnement réflexif émergera pendant l'entraînement RL Markovien, ou pourquoi il est bénéfique au moment du test. Pour remédier à cela, nous reformulons l'exploration réflexive dans le cadre du RL Bayes-Adaptatif, qui optimise explicitement le rendement attendu sous une distribution a posteriori sur les processus de décision Markoviens. Cette formulation bayésienne incite intrinsèquement à la fois l'exploitation maximisant la récompense et l'exploration de collecte d'informations via des mises à jour de croyance. Notre algorithme résultant, BARL, guide le LLM pour assembler et alterner des stratégies basées sur les résultats observés, offrant une orientation rigoureuse sur quand et comment le modèle devrait explorer de manière réflexive. Les résultats empiriques sur des tâches de raisonnement synthétiques et mathématiques démontrent que BARL surpasse les approches RL Markoviennes standard au moment du test, atteignant une efficacité supérieure en termes de tokens avec une amélioration de l'efficacité de l'exploration. Notre code est disponible à l'adresse https://github.com/shenao-zhang/BARL.

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.