Primer Retorno, Exploración que Induce Entropía

Resumen

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) mejora las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLMs), pero enfrenta dificultades con la exploración inestable. Proponemos FR3E (Primer Retorno, Exploración que Induce Entropía), un marco de exploración estructurada que identifica puntos de decisión de alta incertidumbre en las trayectorias de razonamiento y realiza despliegues dirigidos para construir retroalimentación intermedia semánticamente fundamentada. Nuestro método proporciona orientación específica sin depender de supervisión densa. Los resultados empíricos en benchmarks de razonamiento matemático (AIME24) muestran que FR3E promueve un entrenamiento más estable, produce respuestas más largas y coherentes, y aumenta la proporción de trayectorias completamente correctas. Estos resultados destacan la efectividad del marco para mejorar el razonamiento de los LLMs mediante una exploración más robusta y estructurada.

English

Reinforcement Learning from Verifiable Rewards (RLVR) improves the reasoning abilities of Large Language Models (LLMs) but it struggles with unstable exploration. We propose FR3E (First Return, Entropy-Eliciting Explore), a structured exploration framework that identifies high-uncertainty decision points in reasoning trajectories and performs targeted rollouts to construct semantically grounded intermediate feedback. Our method provides targeted guidance without relying on dense supervision. Empirical results on mathematical reasoning benchmarks(AIME24) show that FR3E promotes more stable training, produces longer and more coherent responses, and increases the proportion of fully correct trajectories. These results highlight the framework's effectiveness in improving LLM reasoning through more robust and structured exploration.