Hybride Versterking: Als Beloning Schaars Is, Is Het Beter Dicht Te Zijn

Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense

October 8, 2025

Auteurs: Leitian Tao, Ilia Kulikov, Swarnadeep Saha, Tianlu Wang, Jing Xu, Yixuan Li, Jason E Weston, Ping Yu

cs.AI

Samenvatting

Post-training voor redenering van grote taalmodellen (LLMs) vertrouwt steeds meer op verifieerbare beloningen: deterministische checkers die 0-1 correctheidssignalen leveren. Hoewel betrouwbaar, is dergelijke binaire feedback broos—veel taken laten gedeeltelijk correcte of alternatieve antwoorden toe die verifiers onderwaarderen, en de resulterende alles-of-niets-begeleiding beperkt het leren. Beloningsmodellen bieden rijkere, continue feedback, die kan dienen als een complementair begeleidingssignaal voor verifiers. We introduceren HERO (Hybrid Ensemble Reward Optimization), een reinforcement learning-framework dat verifiersignalen op een gestructureerde manier integreert met scores van beloningsmodellen. HERO gebruikt gestratificeerde normalisatie om scores van beloningsmodellen te begrenzen binnen door verifiers gedefinieerde groepen, waarbij correctheid behouden blijft terwijl kwaliteitsonderscheidingen worden verfijnd, en variantiebewuste weging om uitdagende prompts te benadrukken waar dichte signalen het meest van belang zijn. Over diverse wiskundige redeneerbenchmarks presteert HERO consistent beter dan alleen RM- en alleen verifier-baselines, met sterke verbeteringen op zowel verifieerbare als moeilijk te verifiëren taken. Onze resultaten tonen aan dat hybride beloningsontwerp de stabiliteit van verifiers behoudt terwijl de nuance van beloningsmodellen wordt benut om redenering te bevorderen.

English

Post-training for reasoning of large language models (LLMs) increasingly relies on verifiable rewards: deterministic checkers that provide 0-1 correctness signals. While reliable, such binary feedback is brittle--many tasks admit partially correct or alternative answers that verifiers under-credit, and the resulting all-or-nothing supervision limits learning. Reward models offer richer, continuous feedback, which can serve as a complementary supervisory signal to verifiers. We introduce HERO (Hybrid Ensemble Reward Optimization), a reinforcement learning framework that integrates verifier signals with reward-model scores in a structured way. HERO employs stratified normalization to bound reward-model scores within verifier-defined groups, preserving correctness while refining quality distinctions, and variance-aware weighting to emphasize challenging prompts where dense signals matter most. Across diverse mathematical reasoning benchmarks, HERO consistently outperforms RM-only and verifier-only baselines, with strong gains on both verifiable and hard-to-verify tasks. Our results show that hybrid reward design retains the stability of verifiers while leveraging the nuance of reward models to advance reasoning.