DuaShepherd: Integratie van stapsgewijze correctheid en potentiële beloningen voor wiskundige redenering

DuaShepherd: Integrating Stepwise Correctness and Potential Rewards for Mathematical Reasoning

June 21, 2025

Auteurs: Yuanhao Wu, Juntong Song, Hanning Zhang, Tong Zhang, Cheng Niu

cs.AI

Samenvatting

In dit artikel introduceren we DuaShepherd, een nieuw raamwerk voor beloningsmodellering dat twee complementaire beloningssignalen integreert, namelijk correctheid en potentieel, om de wiskundige redeneervaardigheden van Large Language Models (LLM's) te verbeteren. Terwijl correctheidsgebaseerde signalen de nadruk leggen op het identificeren van stapsgewijze fouten, richten potentieelgebaseerde signalen zich op de waarschijnlijkheid om het juiste eindantwoord te bereiken. We hebben een geautomatiseerde pijplijn ontwikkeld voor het construeren van een grootschalige dataset voor beloningsmodellering met beide signalen. Een geünificeerde, multi-head architectuur werd onderzocht om de twee beloningsmodellen te trainen in een multi-task opzet, waarbij voordelen werden aangetoond van het parallel leren van zowel correctheid als potentieel. Door deze twee signalen te combineren in een samengestelde waarschijnlijkheid, behaalt ons model consistente prestatieverbeteringen op meerdere benchmarks. Empirische evaluaties op MATH500 en ProcessBench bevestigen dat deze gecombineerde beloning aanzienlijk beter presteert dan modellen die alleen op één beloningstype zijn getraind, en bereikt state-of-the-art prestaties onder vergelijkbare resourcebeperkingen.

English

In this paper, we propose DuaShepherd, a novel reward modeling framework that integrates two complementary reward signals, correctness and potential, to enhance the mathematical reasoning capabilities of Large Language Models (LLMs). While correctness-based signals emphasize identification of stepwise errors, potential-based signals focus on the likelihood of reaching the correct final answer. We developed an automated pipeline for constructing large-scale reward modeling dataset with both signals. A unified, multi-head architecture was explored to train the two reward models in a multi-task setup, demonstrating benefits from learning both correctness and potential in parallel. By combining these two signals into a compound probability, our model achieves consistent performance improvements across multiple benchmarks. Empirical evaluations on MATH500 and ProcessBench confirm that this combined reward significantly outperforms models trained on either reward type alone, achieving state-of-the-art performance under comparable resource constraints.