Deixe Calmar: Decodagem Recozida Exploratória para Aprendizado por Reforço Verificável

Let it Calm: Exploratory Annealed Decoding for Verifiable Reinforcement Learning

October 6, 2025

Autores: Chenghao Yang, Lin Gui, Chenxiao Yang, Victor Veitch, Lizhu Zhang, Zhuokai Zhao

cs.AI

Resumo

O aprendizado por reforço com recompensas verificáveis (RLVR) é um paradigma poderoso para aprimorar as capacidades de raciocínio de modelos de linguagem de grande escala (LLMs), mas seu sucesso depende de uma exploração eficaz. Uma estratégia de exploração ideal deve enfrentar dois desafios fundamentais: preservar a qualidade das amostras e garantir a estabilidade do treinamento. Embora a amostragem com temperatura fixa padrão seja simples, ela luta para equilibrar essas demandas concorrentes, já que temperaturas altas degradam a qualidade das amostras e temperaturas baixas limitam a descoberta. Neste trabalho, propomos uma estratégia mais simples e eficaz, a Decodagem Anelada Exploratória (EAD), baseada na ideia de que a exploração é mais impactante nos primeiros tokens, que definem a direção semântica de uma sequência. A EAD implementa uma estratégia intuitiva de **explorar no início, aproveitar no final**, anelando a temperatura de amostragem de alta para baixa durante a geração. Esse cronograma dinâmico incentiva uma diversidade significativa e de alto nível no início, para então reduzir gradualmente a temperatura e preservar a qualidade das amostras, mantendo a distribuição de amostragem próxima à política alvo, o que é essencial para um treinamento estável. Demonstramos que a EAD é um método leve e plug-and-play que melhora significativamente a eficiência das amostras, superando consistentemente a amostragem com temperatura fixa em vários algoritmos de RLVR e tamanhos de modelos. Nosso trabalho sugere que alinhar a exploração com a dinâmica natural da geração sequencial oferece um caminho robusto para aprimorar o raciocínio dos LLMs.

English

Reinforcement learning with verifiable rewards (RLVR) is a powerful paradigm for enhancing the reasoning capabilities of large language models (LLMs), yet its success hinges on effective exploration. An ideal exploration strategy must navigate two fundamental challenges: it must preserve sample quality while also ensuring training stability. While standard fixed-temperature sampling is simple, it struggles to balance these competing demands, as high temperatures degrade sample quality and low temperatures limit discovery. In this work, we propose a simpler and more effective strategy, Exploratory Annealed Decoding (EAD), grounded in the insight that exploration is most impactful on early tokens which define a sequence's semantic direction. EAD implements an intuitive **explore-at-the-beginning, exploit-at-the-end** strategy by annealing the sampling temperature from high to low during generation. This dynamic schedule encourages meaningful, high-level diversity at the start, then gradually lowers the temperature to preserve sample quality and keep the sampling distribution close to the target policy, which is essential for stable training. We demonstrate that EAD is a lightweight, plug-and-play method that significantly improves sample efficiency, consistently outperforming fixed-temperature sampling across various RLVR algorithms and model sizes. Our work suggests that aligning exploration with the natural dynamics of sequential generation offers a robust path to improving LLM reasoning.