Déjalo Calmar: Decodificación Recocida Exploratoria para Aprendizaje por Refuerzo Verificable

Let it Calm: Exploratory Annealed Decoding for Verifiable Reinforcement Learning

October 6, 2025

Autores: Chenghao Yang, Lin Gui, Chenxiao Yang, Victor Veitch, Lizhu Zhang, Zhuokai Zhao

cs.AI

Resumen

El aprendizaje por refuerzo con recompensas verificables (RLVR, por sus siglas en inglés) es un paradigma poderoso para mejorar las capacidades de razonamiento de los modelos de lenguaje grandes (LLMs, por sus siglas en inglés), aunque su éxito depende de una exploración efectiva. Una estrategia de exploración ideal debe abordar dos desafíos fundamentales: debe preservar la calidad de las muestras y, al mismo tiempo, garantizar la estabilidad del entrenamiento. Aunque el muestreo estándar con temperatura fija es simple, tiene dificultades para equilibrar estas demandas contrapuestas, ya que temperaturas altas degradan la calidad de las muestras y temperaturas bajas limitan el descubrimiento. En este trabajo, proponemos una estrategia más simple y efectiva, el Decodificado Recocido Exploratorio (EAD, por sus siglas en inglés), basada en la idea de que la exploración tiene un mayor impacto en los primeros tokens, los cuales definen la dirección semántica de una secuencia. El EAD implementa una estrategia intuitiva de **explorar-al-principio, explotar-al-final** al reducir gradualmente la temperatura de muestreo de alta a baja durante la generación. Este esquema dinámico fomenta una diversidad significativa y de alto nivel al inicio, para luego disminuir gradualmente la temperatura y preservar la calidad de las muestras, manteniendo la distribución de muestreo cercana a la política objetivo, lo cual es esencial para un entrenamiento estable. Demostramos que el EAD es un método ligero y plug-and-play que mejora significativamente la eficiencia de las muestras, superando consistentemente al muestreo con temperatura fija en diversos algoritmos de RLVR y tamaños de modelos. Nuestro trabajo sugiere que alinear la exploración con la dinámica natural de la generación secuencial ofrece un camino robusto para mejorar el razonamiento de los LLMs.

English

Reinforcement learning with verifiable rewards (RLVR) is a powerful paradigm for enhancing the reasoning capabilities of large language models (LLMs), yet its success hinges on effective exploration. An ideal exploration strategy must navigate two fundamental challenges: it must preserve sample quality while also ensuring training stability. While standard fixed-temperature sampling is simple, it struggles to balance these competing demands, as high temperatures degrade sample quality and low temperatures limit discovery. In this work, we propose a simpler and more effective strategy, Exploratory Annealed Decoding (EAD), grounded in the insight that exploration is most impactful on early tokens which define a sequence's semantic direction. EAD implements an intuitive **explore-at-the-beginning, exploit-at-the-end** strategy by annealing the sampling temperature from high to low during generation. This dynamic schedule encourages meaningful, high-level diversity at the start, then gradually lowers the temperature to preserve sample quality and keep the sampling distribution close to the target policy, which is essential for stable training. We demonstrate that EAD is a lightweight, plug-and-play method that significantly improves sample efficiency, consistently outperforming fixed-temperature sampling across various RLVR algorithms and model sizes. Our work suggests that aligning exploration with the natural dynamics of sequential generation offers a robust path to improving LLM reasoning.