Hybride Verstärkung: Wenn Belohnungen spärlich sind, ist Dichte von Vorteil

Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense

October 8, 2025

papers.authors: Leitian Tao, Ilia Kulikov, Swarnadeep Saha, Tianlu Wang, Jing Xu, Yixuan Li, Jason E Weston, Ping Yu

cs.AI

papers.abstract

Das Post-Training für das logische Denken großer Sprachmodelle (LLMs) stützt sich zunehmend auf verifizierbare Belohnungen: deterministische Prüfer, die binäre Korrektheitssignale (0-1) liefern. Obwohl zuverlässig, ist solches binäres Feedback spröde – viele Aufgaben lassen teilweise korrekte oder alternative Antworten zu, die von Prüfern unterbewertet werden, und die daraus resultierende Alles-oder-Nichts-Aufsicht begrenzt das Lernen. Belohnungsmodelle bieten reichhaltigeres, kontinuierliches Feedback, das als ergänzendes Aufsichtssignal zu Prüfern dienen kann. Wir stellen HERO (Hybrid Ensemble Reward Optimization) vor, ein Reinforcement-Learning-Framework, das Prüfersignale mit Bewertungen von Belohnungsmodellen auf strukturierte Weise integriert. HERO verwendet stratifizierte Normalisierung, um die Bewertungen des Belohnungsmodells innerhalb von prüferdefinierten Gruppen zu begrenzen, wodurch die Korrektheit erhalten bleibt, während Qualitätsunterschiede verfeinert werden, und varianzbasierte Gewichtung, um herausfordernde Eingaben zu betonen, bei denen dichte Signale am wichtigsten sind. Über diverse mathematische Denkfähigkeits-Benchmarks hinweg übertrifft HERO durchweg RM-only- und prüferbasierte Vergleichsmodelle, mit deutlichen Verbesserungen sowohl bei verifizierbaren als auch schwer zu verifizierenden Aufgaben. Unsere Ergebnisse zeigen, dass ein hybrides Belohnungsdesign die Stabilität von Prüfern bewahrt, während es die Nuancen von Belohnungsmodellen nutzt, um das logische Denken voranzutreiben.

English

Post-training for reasoning of large language models (LLMs) increasingly relies on verifiable rewards: deterministic checkers that provide 0-1 correctness signals. While reliable, such binary feedback is brittle--many tasks admit partially correct or alternative answers that verifiers under-credit, and the resulting all-or-nothing supervision limits learning. Reward models offer richer, continuous feedback, which can serve as a complementary supervisory signal to verifiers. We introduce HERO (Hybrid Ensemble Reward Optimization), a reinforcement learning framework that integrates verifier signals with reward-model scores in a structured way. HERO employs stratified normalization to bound reward-model scores within verifier-defined groups, preserving correctness while refining quality distinctions, and variance-aware weighting to emphasize challenging prompts where dense signals matter most. Across diverse mathematical reasoning benchmarks, HERO consistently outperforms RM-only and verifier-only baselines, with strong gains on both verifiable and hard-to-verify tasks. Our results show that hybrid reward design retains the stability of verifiers while leveraging the nuance of reward models to advance reasoning.