Oltre il Markoviano: Esplorazione Riflessiva tramite RL Bayes-Adattivo per il Ragionamento nei Modelli Linguistici di Grande Dimensione

Beyond Markovian: Reflective Exploration via Bayes-Adaptive RL for LLM Reasoning

May 26, 2025

Autori: Shenao Zhang, Yaqing Wang, Yinxiao Liu, Tianqi Liu, Peter Grabowski, Eugene Ie, Zhaoran Wang, Yunxuan Li

cs.AI

Abstract

I Large Language Model (LLM) addestrati tramite Reinforcement Learning (RL) hanno dimostrato forti capacità di ragionamento e comportamenti riflessivi emergenti, come il backtracking e la correzione degli errori. Tuttavia, il RL markoviano convenzionale limita l'esplorazione alla fase di addestramento per apprendere una politica deterministica ottimale e dipende dai contesti storici solo attraverso lo stato corrente. Pertanto, rimane poco chiaro se il ragionamento riflessivo emergerà durante l'addestramento RL markoviano o perché sia vantaggioso al momento del test. Per rimediare a ciò, riformuliamo l'esplorazione riflessiva all'interno del framework Bayes-Adaptive RL, che ottimizza esplicitamente il rendimento atteso sotto una distribuzione a posteriori sui processi decisionali markoviani. Questa formulazione bayesiana incentiva intrinsecamente sia lo sfruttamento massimizzante la ricompensa che l'esplorazione di raccolta di informazioni tramite aggiornamenti delle credenze. Il nostro algoritmo risultante, BARL, istruisce il LLM a cucire e cambiare strategie in base ai risultati osservati, offrendo una guida principiata su quando e come il modello dovrebbe esplorare in modo riflessivo. I risultati empirici su compiti sia sintetici che di ragionamento matematico dimostrano che BARL supera gli approcci RL markoviani standard al momento del test, raggiungendo una superiore efficienza dei token con una migliore efficacia dell'esplorazione. Il nostro codice è disponibile all'indirizzo https://github.com/shenao-zhang/BARL.

English

Large Language Models (LLMs) trained via Reinforcement Learning (RL) have exhibited strong reasoning capabilities and emergent reflective behaviors, such as backtracking and error correction. However, conventional Markovian RL confines exploration to the training phase to learn an optimal deterministic policy and depends on the history contexts only through the current state. Therefore, it remains unclear whether reflective reasoning will emerge during Markovian RL training, or why they are beneficial at test time. To remedy this, we recast reflective exploration within the Bayes-Adaptive RL framework, which explicitly optimizes the expected return under a posterior distribution over Markov decision processes. This Bayesian formulation inherently incentivizes both reward-maximizing exploitation and information-gathering exploration via belief updates. Our resulting algorithm, BARL, instructs the LLM to stitch and switch strategies based on the observed outcomes, offering principled guidance on when and how the model should reflectively explore. Empirical results on both synthetic and mathematical reasoning tasks demonstrate that BARL outperforms standard Markovian RL approaches at test time, achieving superior token efficiency with improved exploration effectiveness. Our code is available at https://github.com/shenao-zhang/BARL.