Primeiro Retorno, Exploração Indutora de Entropia

Resumo

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) melhora as habilidades de raciocínio de Modelos de Linguagem de Grande Escala (LLMs), mas enfrenta dificuldades com exploração instável. Propomos o FR3E (First Return, Entropy-Eliciting Explore), uma estrutura de exploração estruturada que identifica pontos de decisão de alta incerteza em trajetórias de raciocínio e realiza rollouts direcionados para construir feedback intermediário semanticamente fundamentado. Nosso método oferece orientação direcionada sem depender de supervisão densa. Resultados empíricos em benchmarks de raciocínio matemático (AIME24) mostram que o FR3E promove um treinamento mais estável, produz respostas mais longas e coerentes, e aumenta a proporção de trajetórias totalmente corretas. Esses resultados destacam a eficácia da estrutura em melhorar o raciocínio de LLMs por meio de uma exploração mais robusta e estruturada.

English

Reinforcement Learning from Verifiable Rewards (RLVR) improves the reasoning abilities of Large Language Models (LLMs) but it struggles with unstable exploration. We propose FR3E (First Return, Entropy-Eliciting Explore), a structured exploration framework that identifies high-uncertainty decision points in reasoning trajectories and performs targeted rollouts to construct semantically grounded intermediate feedback. Our method provides targeted guidance without relying on dense supervision. Empirical results on mathematical reasoning benchmarks(AIME24) show that FR3E promotes more stable training, produces longer and more coherent responses, and increases the proportion of fully correct trajectories. These results highlight the framework's effectiveness in improving LLM reasoning through more robust and structured exploration.