Lascialo Calmare: Decodifica Ricottiva Esplorativa per l'Apprendimento per Rinforzo Verificabile

Let it Calm: Exploratory Annealed Decoding for Verifiable Reinforcement Learning

October 6, 2025

Autori: Chenghao Yang, Lin Gui, Chenxiao Yang, Victor Veitch, Lizhu Zhang, Zhuokai Zhao

cs.AI

Abstract

L'apprendimento per rinforzo con ricompense verificabili (RLVR) è un paradigma potente per migliorare le capacità di ragionamento dei grandi modelli linguistici (LLM), ma il suo successo dipende da un'esplorazione efficace. Una strategia di esplorazione ideale deve affrontare due sfide fondamentali: preservare la qualità dei campioni e garantire la stabilità dell'addestramento. Sebbene il campionamento a temperatura fissa sia semplice, fatica a bilanciare queste esigenze contrastanti, poiché temperature elevate degradano la qualità dei campioni e temperature basse limitano la scoperta. In questo lavoro, proponiamo una strategia più semplice ed efficace, il Decodifica Annealata Esplorativa (EAD), basata sull'intuizione che l'esplorazione ha un impatto maggiore sui token iniziali che definiscono la direzione semantica di una sequenza. L'EAD implementa una strategia intuitiva **esplora-all'inizio, sfrutta-alla-fine** diminuendo gradualmente la temperatura di campionamento da alta a bassa durante la generazione. Questo schema dinamico incoraggia una diversità significativa e di alto livello all'inizio, per poi abbassare gradualmente la temperatura per preservare la qualità dei campioni e mantenere la distribuzione di campionamento vicina alla politica target, essenziale per un addestramento stabile. Dimostriamo che l'EAD è un metodo leggero e plug-and-play che migliora significativamente l'efficienza del campionamento, superando costantemente il campionamento a temperatura fissa in vari algoritmi RLVR e dimensioni del modello. Il nostro lavoro suggerisce che allineare l'esplorazione con le dinamiche naturali della generazione sequenziale offre un percorso robusto per migliorare il ragionamento dei LLM.

English

Reinforcement learning with verifiable rewards (RLVR) is a powerful paradigm for enhancing the reasoning capabilities of large language models (LLMs), yet its success hinges on effective exploration. An ideal exploration strategy must navigate two fundamental challenges: it must preserve sample quality while also ensuring training stability. While standard fixed-temperature sampling is simple, it struggles to balance these competing demands, as high temperatures degrade sample quality and low temperatures limit discovery. In this work, we propose a simpler and more effective strategy, Exploratory Annealed Decoding (EAD), grounded in the insight that exploration is most impactful on early tokens which define a sequence's semantic direction. EAD implements an intuitive **explore-at-the-beginning, exploit-at-the-end** strategy by annealing the sampling temperature from high to low during generation. This dynamic schedule encourages meaningful, high-level diversity at the start, then gradually lowers the temperature to preserve sample quality and keep the sampling distribution close to the target policy, which is essential for stable training. We demonstrate that EAD is a lightweight, plug-and-play method that significantly improves sample efficiency, consistently outperforming fixed-temperature sampling across various RLVR algorithms and model sizes. Our work suggests that aligning exploration with the natural dynamics of sequential generation offers a robust path to improving LLM reasoning.