Eerste Terugkeer, Entropie-Oproepende Verkenning

Samenvatting

Reinforcement Learning from Verifiable Rewards (RLVR) verbetert de redeneervaardigheden van Large Language Models (LLM's), maar heeft moeite met instabiele exploratie. Wij stellen FR3E (First Return, Entropy-Eliciting Explore) voor, een gestructureerd exploratieraamwerk dat beslissingspunten met hoge onzekerheid in redeneertrajecten identificeert en gerichte rollouts uitvoert om semantisch onderbouwde tussentijdse feedback te construeren. Onze methode biedt gerichte begeleiding zonder te vertrouwen op dichte supervisie. Empirische resultaten op wiskundige redeneerbenchmarks (AIME24) laten zien dat FR3E stabielere training bevordert, langere en coherentere antwoorden produceert, en het aandeel van volledig correcte trajecten vergroot. Deze resultaten benadrukken de effectiviteit van het raamwerk bij het verbeteren van LLM-redenering door middel van robuustere en gestructureerdere exploratie.

English

Reinforcement Learning from Verifiable Rewards (RLVR) improves the reasoning abilities of Large Language Models (LLMs) but it struggles with unstable exploration. We propose FR3E (First Return, Entropy-Eliciting Explore), a structured exploration framework that identifies high-uncertainty decision points in reasoning trajectories and performs targeted rollouts to construct semantically grounded intermediate feedback. Our method provides targeted guidance without relying on dense supervision. Empirical results on mathematical reasoning benchmarks(AIME24) show that FR3E promotes more stable training, produces longer and more coherent responses, and increases the proportion of fully correct trajectories. These results highlight the framework's effectiveness in improving LLM reasoning through more robust and structured exploration.