Lass es Ruhe: Exploratives Abgekühltes Decodieren für Verifizierbares Reinforcement Learning

Let it Calm: Exploratory Annealed Decoding for Verifiable Reinforcement Learning

October 6, 2025

papers.authors: Chenghao Yang, Lin Gui, Chenxiao Yang, Victor Veitch, Lizhu Zhang, Zhuokai Zhao

cs.AI

papers.abstract

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) ist ein leistungsstarkes Paradigma zur Verbesserung der Fähigkeiten großer Sprachmodelle (LLMs) zum logischen Schlussfolgern, doch sein Erfolg hängt von einer effektiven Exploration ab. Eine ideale Explorationsstrategie muss zwei grundlegende Herausforderungen bewältigen: Sie muss die Qualität der Stichproben bewahren und gleichzeitig die Stabilität des Trainings gewährleisten. Während das standardmäßige Sampling mit fester Temperatur einfach ist, gelingt es ihm nicht, diese konkurrierenden Anforderungen auszubalancieren, da hohe Temperaturen die Stichprobenqualität beeinträchtigen und niedrige Temperaturen die Entdeckung neuer Möglichkeiten einschränken. In dieser Arbeit schlagen wir eine einfachere und effektivere Strategie vor, das Exploratory Annealed Decoding (EAD), das auf der Erkenntnis basiert, dass Exploration besonders wirkungsvoll bei frühen Tokens ist, welche die semantische Richtung einer Sequenz definieren. EAD implementiert eine intuitive **„Exploration am Anfang, Ausnutzung am Ende“**-Strategie, indem die Sampling-Temperatur während der Generierung von hoch nach niedrig abgekühlt wird. Dieser dynamische Zeitplan fördert bedeutungsvolle, hochgradige Diversität zu Beginn und senkt dann schrittweise die Temperatur, um die Stichprobenqualität zu bewahren und die Sampling-Verteilung nahe an der Zielpolitik zu halten, was für ein stabiles Training entscheidend ist. Wir zeigen, dass EAD eine leichtgewichtige, Plug-and-Play-Methode ist, die die Stichprobeneffizienz signifikant verbessert und durchweg das Sampling mit fester Temperatur in verschiedenen RLVR-Algorithmen und Modellgrößen übertrifft. Unsere Arbeit legt nahe, dass die Ausrichtung der Exploration an den natürlichen Dynamiken der sequenziellen Generierung einen robusten Weg zur Verbesserung des logischen Schlussfolgerns von LLMs bietet.

English

Reinforcement learning with verifiable rewards (RLVR) is a powerful paradigm for enhancing the reasoning capabilities of large language models (LLMs), yet its success hinges on effective exploration. An ideal exploration strategy must navigate two fundamental challenges: it must preserve sample quality while also ensuring training stability. While standard fixed-temperature sampling is simple, it struggles to balance these competing demands, as high temperatures degrade sample quality and low temperatures limit discovery. In this work, we propose a simpler and more effective strategy, Exploratory Annealed Decoding (EAD), grounded in the insight that exploration is most impactful on early tokens which define a sequence's semantic direction. EAD implements an intuitive **explore-at-the-beginning, exploit-at-the-end** strategy by annealing the sampling temperature from high to low during generation. This dynamic schedule encourages meaningful, high-level diversity at the start, then gradually lowers the temperature to preserve sample quality and keep the sampling distribution close to the target policy, which is essential for stable training. We demonstrate that EAD is a lightweight, plug-and-play method that significantly improves sample efficiency, consistently outperforming fixed-temperature sampling across various RLVR algorithms and model sizes. Our work suggests that aligning exploration with the natural dynamics of sequential generation offers a robust path to improving LLM reasoning.