Первое возвращение, исследование с вызовом энтропии

Аннотация

Обучение с подкреплением на основе проверяемых наград (RLVR) улучшает способности крупных языковых моделей (LLM) к рассуждению, однако сталкивается с проблемой нестабильного исследования. Мы предлагаем FR3E (First Return, Entropy-Eliciting Explore) — структурированную систему исследования, которая выявляет точки принятия решений с высокой неопределённостью в траекториях рассуждений и выполняет целенаправленные прогоны для создания семантически обоснованной промежуточной обратной связи. Наш метод обеспечивает целенаправленное руководство без необходимости в плотном контроле. Экспериментальные результаты на тестах математического рассуждения (AIME24) показывают, что FR3E способствует более стабильному обучению, генерирует более длинные и связные ответы, а также увеличивает долю полностью корректных траекторий. Эти результаты подчеркивают эффективность предложенной системы в улучшении рассуждений LLM за счёт более устойчивого и структурированного исследования.

English

Reinforcement Learning from Verifiable Rewards (RLVR) improves the reasoning abilities of Large Language Models (LLMs) but it struggles with unstable exploration. We propose FR3E (First Return, Entropy-Eliciting Explore), a structured exploration framework that identifies high-uncertainty decision points in reasoning trajectories and performs targeted rollouts to construct semantically grounded intermediate feedback. Our method provides targeted guidance without relying on dense supervision. Empirical results on mathematical reasoning benchmarks(AIME24) show that FR3E promotes more stable training, produces longer and more coherent responses, and increases the proportion of fully correct trajectories. These results highlight the framework's effectiveness in improving LLM reasoning through more robust and structured exploration.