Primo Ritorno, Esplorazione che Evoca Entropia

Abstract

Il Reinforcement Learning da Ricompense Verificabili (RLVR) migliora le capacità di ragionamento dei Modelli Linguistici di Grande Dimensione (LLM), ma incontra difficoltà con un'esplorazione instabile. Proponiamo FR3E (First Return, Entropy-Eliciting Explore), un framework strutturato di esplorazione che identifica punti decisionali ad alta incertezza nelle traiettorie di ragionamento e esegue rollouts mirati per costruire feedback intermedi semanticamente fondati. Il nostro metodo fornisce una guida mirata senza fare affidamento su una supervisione densa. I risultati empirici sui benchmark di ragionamento matematico (AIME24) dimostrano che FR3E promuove un addestramento più stabile, produce risposte più lunghe e coerenti e aumenta la proporzione di traiettorie completamente corrette. Questi risultati evidenziano l'efficacia del framework nel migliorare il ragionamento dei LLM attraverso un'esplorazione più robusta e strutturata.

English

Reinforcement Learning from Verifiable Rewards (RLVR) improves the reasoning abilities of Large Language Models (LLMs) but it struggles with unstable exploration. We propose FR3E (First Return, Entropy-Eliciting Explore), a structured exploration framework that identifies high-uncertainty decision points in reasoning trajectories and performs targeted rollouts to construct semantically grounded intermediate feedback. Our method provides targeted guidance without relying on dense supervision. Empirical results on mathematical reasoning benchmarks(AIME24) show that FR3E promotes more stable training, produces longer and more coherent responses, and increases the proportion of fully correct trajectories. These results highlight the framework's effectiveness in improving LLM reasoning through more robust and structured exploration.