Skywork-Reward-V2: Schaalvergroting van voorkeursdatacuratie via mens-AI-synergie

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

July 2, 2025

Auteurs: Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

cs.AI

Samenvatting

Ondanks de cruciale rol van beloningsmodellen (RMs) in reinforcement learning met menselijke feedback (RLHF), presteren de huidige state-of-the-art open RMs slecht op de meeste bestaande evaluatiebenchmarks, waarbij ze niet in staat zijn om het spectrum van genuanceerde en verfijnde menselijke voorkeuren vast te leggen. Zelfs benaderingen die geavanceerde trainingstechnieken incorporeren, hebben geen significante prestatieverbeteringen opgeleverd. We veronderstellen dat deze broosheid voornamelijk voortkomt uit beperkingen in voorkeursdatasets, die vaak beperkt in scope zijn, synthetisch gelabeld, of gebrek aan rigoureuze kwaliteitscontrole. Om deze uitdagingen aan te pakken, presenteren we een grootschalige voorkeursdataset bestaande uit 40 miljoen voorkeursparen, genaamd SynPref-40M. Om data-curatie op grote schaal mogelijk te maken, ontwerpen we een mens-AI synergetische tweefasenpijplijn die de complementaire sterke punten van menselijke annotatiekwaliteit en AI-schaalbaarheid benut. In deze pijplijn leveren mensen geverifieerde annotaties, terwijl grote taalmodellen automatische curatie uitvoeren op basis van menselijke begeleiding. Door te trainen op dit voorkeursmengsel, introduceren we Skywork-Reward-V2, een reeks van acht beloningsmodellen variërend van 0,6B tot 8B parameters, getraind op een zorgvuldig gecureerde subset van 26 miljoen voorkeursparen uit SynPref-40M. We demonstreren dat Skywork-Reward-V2 veelzijdig is over een breed scala aan capaciteiten, waaronder afstemming met menselijke voorkeuren, objectieve correctheid, veiligheid, weerstand tegen stilistische vooroordelen, en best-of-N schaling, waarbij het state-of-the-art prestaties behaalt op zeven belangrijke beloningsmodelbenchmarks. Ablatiestudies bevestigen dat de effectiviteit van onze aanpak niet alleen voortkomt uit de schaal van de data, maar ook uit hoogwaardige curatie. De Skywork-Reward-V2-serie vertegenwoordigt een aanzienlijke vooruitgang in open beloningsmodellen, waarbij het onbenutte potentieel van bestaande voorkeursdatasets wordt benadrukt en wordt gedemonstreerd hoe mens-AI curatiesynergie aanzienlijk hogere data-kwaliteit kan ontsluiten.

English

Despite the critical role of reward models (RMs) in reinforcement learning from human feedback (RLHF), current state-of-the-art open RMs perform poorly on most existing evaluation benchmarks, failing to capture the spectrum of nuanced and sophisticated human preferences. Even approaches that incorporate advanced training techniques have not yielded meaningful performance improvements. We hypothesize that this brittleness stems primarily from limitations in preference datasets, which are often narrowly scoped, synthetically labeled, or lack rigorous quality control. To address these challenges, we present a large-scale preference dataset comprising 40 million preference pairs, named SynPref-40M. To enable data curation at scale, we design a human-AI synergistic two-stage pipeline that leverages the complementary strengths of human annotation quality and AI scalability. In this pipeline, humans provide verified annotations, while large language models perform automatic curation based on human guidance. Training on this preference mixture, we introduce Skywork-Reward-V2, a suite of eight reward models ranging from 0.6B to 8B parameters, trained on a carefully curated subset of 26 million preference pairs from SynPref-40M. We demonstrate that Skywork-Reward-V2 is versatile across a wide range of capabilities, including alignment with human preferences, objective correctness, safety, resistance to stylistic biases, and best-of-N scaling, achieving state-of-the-art performance across seven major reward model benchmarks. Ablation studies confirm that the effectiveness of our approach stems not only from data scale but also from high-quality curation. The Skywork-Reward-V2 series represents substantial progress in open reward models, highlighting the untapped potential of existing preference datasets and demonstrating how human-AI curation synergy can unlock significantly higher data quality.