Voorbij Markoviaans: Reflectief Onderzoek via Bayes-Adaptieve RL voor LLM-redenering

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

Auteurs: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

Samenvatting

Grote Taalmodellen (LLMs) die zijn getraind via Reinforcement Learning (RL) hebben sterke redeneervaardigheden en emergent reflectief gedrag getoond, zoals terugspoelen en foutcorrectie. Echter beperkt conventionele Markoviaanse RL de exploratie tot de trainingsfase om een optimaal deterministisch beleid te leren en is het afhankelijk van historische contexten alleen via de huidige staat. Daarom blijft het onduidelijk of reflectief redeneren zal ontstaan tijdens Markoviaanse RL-training, of waarom dit nuttig is tijdens de testfase. Om dit te verhelpen, herformuleren we reflectieve exploratie binnen het Bayes-Adaptieve RL-raamwerk, dat expliciet het verwachte rendement optimaliseert onder een posteriorverdeling over Markov-beslissingsprocessen. Deze Bayesiaanse formulering stimuleert inherent zowel beloning-maximaliserende exploitatie als informatie-verzamelende exploratie via geloofsupdates. Ons resulterende algoritme, BARL, instrueert het LLM om strategieën te combineren en te wisselen op basis van de waargenomen resultaten, en biedt principiële richtlijnen over wanneer en hoe het model reflectief zou moeten exploreren. Empirische resultaten op zowel synthetische als wiskundige redeneertaken laten zien dat BARL standaard Markoviaanse RL-benaderingen overtreft tijdens de testfase, met superieure token-efficiëntie en verbeterde exploratie-effectiviteit. Onze code is beschikbaar op https://github.com/shenao-zhang/BARL.

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.