Premier Retour, Exploration Élicitrice d'Entropie

papers.abstract

L'apprentissage par renforcement à partir de récompenses vérifiables (RLVR) améliore les capacités de raisonnement des grands modèles de langage (LLMs), mais il rencontre des difficultés avec une exploration instable. Nous proposons FR3E (First Return, Entropy-Eliciting Explore), un cadre d'exploration structuré qui identifie les points de décision à forte incertitude dans les trajectoires de raisonnement et effectue des déploiements ciblés pour construire un retour d'information intermédiaire sémantiquement ancré. Notre méthode fournit un guidage ciblé sans dépendre d'une supervision dense. Les résultats empiriques sur des benchmarks de raisonnement mathématique (AIME24) montrent que FR3E favorise un entraînement plus stable, produit des réponses plus longues et plus cohérentes, et augmente la proportion de trajectoires entièrement correctes. Ces résultats mettent en évidence l'efficacité du cadre pour améliorer le raisonnement des LLMs grâce à une exploration plus robuste et structurée.

English

Reinforcement Learning from Verifiable Rewards (RLVR) improves the reasoning abilities of Large Language Models (LLMs) but it struggles with unstable exploration. We propose FR3E (First Return, Entropy-Eliciting Explore), a structured exploration framework that identifies high-uncertainty decision points in reasoning trajectories and performs targeted rollouts to construct semantically grounded intermediate feedback. Our method provides targeted guidance without relying on dense supervision. Empirical results on mathematical reasoning benchmarks(AIME24) show that FR3E promotes more stable training, produces longer and more coherent responses, and increases the proportion of fully correct trajectories. These results highlight the framework's effectiveness in improving LLM reasoning through more robust and structured exploration.