Skywork-Reward-V2 : Mise à l'échelle de la curation des données de préférence via une synergie humain-IA

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

July 2, 2025

Auteurs: Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

cs.AI

Résumé

Malgré le rôle crucial des modèles de récompense (RMs) dans l'apprentissage par renforcement à partir de retours humains (RLHF), les modèles de récompense open source actuels les plus avancés obtiennent de faibles performances sur la plupart des benchmarks d'évaluation existants, ne parvenant pas à capturer la gamme des préférences humaines nuancées et sophistiquées. Même les approches intégrant des techniques d'entraînement avancées n'ont pas permis d'améliorations significatives des performances. Nous émettons l'hypothèse que cette fragilité découle principalement des limitations des ensembles de données de préférences, qui sont souvent restreints en portée, annotés de manière synthétique ou manquent de contrôle qualité rigoureux. Pour relever ces défis, nous présentons un ensemble de données de préférences à grande échelle comprenant 40 millions de paires de préférences, nommé SynPref-40M. Pour permettre une curation des données à grande échelle, nous concevons un pipeline synergique humain-IA en deux étapes qui exploite les forces complémentaires de la qualité des annotations humaines et de la scalabilité de l'IA. Dans ce pipeline, les humains fournissent des annotations vérifiées, tandis que les grands modèles de langage effectuent une curation automatique basée sur les directives humaines. En entraînant sur ce mélange de préférences, nous introduisons Skywork-Reward-V2, une suite de huit modèles de récompense allant de 0,6 à 8 milliards de paramètres, entraînés sur un sous-ensemble soigneusement sélectionné de 26 millions de paires de préférences issues de SynPref-40M. Nous démontrons que Skywork-Reward-V2 est polyvalent sur un large éventail de capacités, incluant l'alignement avec les préférences humaines, la justesse objective, la sécurité, la résistance aux biais stylistiques et la mise à l'échelle best-of-N, atteignant des performances de pointe sur sept benchmarks majeurs de modèles de récompense. Les études d'ablation confirment que l'efficacité de notre approche découle non seulement de l'échelle des données, mais aussi d'une curation de haute qualité. La série Skywork-Reward-V2 représente une avancée significative dans les modèles de récompense open source, mettant en lumière le potentiel inexploité des ensembles de données de préférences existants et démontrant comment la synergie de curation humain-IA peut débloquer une qualité de données nettement supérieure.

English

Despite the critical role of reward models (RMs) in reinforcement learning from human feedback (RLHF), current state-of-the-art open RMs perform poorly on most existing evaluation benchmarks, failing to capture the spectrum of nuanced and sophisticated human preferences. Even approaches that incorporate advanced training techniques have not yielded meaningful performance improvements. We hypothesize that this brittleness stems primarily from limitations in preference datasets, which are often narrowly scoped, synthetically labeled, or lack rigorous quality control. To address these challenges, we present a large-scale preference dataset comprising 40 million preference pairs, named SynPref-40M. To enable data curation at scale, we design a human-AI synergistic two-stage pipeline that leverages the complementary strengths of human annotation quality and AI scalability. In this pipeline, humans provide verified annotations, while large language models perform automatic curation based on human guidance. Training on this preference mixture, we introduce Skywork-Reward-V2, a suite of eight reward models ranging from 0.6B to 8B parameters, trained on a carefully curated subset of 26 million preference pairs from SynPref-40M. We demonstrate that Skywork-Reward-V2 is versatile across a wide range of capabilities, including alignment with human preferences, objective correctness, safety, resistance to stylistic biases, and best-of-N scaling, achieving state-of-the-art performance across seven major reward model benchmarks. Ablation studies confirm that the effectiveness of our approach stems not only from data scale but also from high-quality curation. The Skywork-Reward-V2 series represents substantial progress in open reward models, highlighting the untapped potential of existing preference datasets and demonstrating how human-AI curation synergy can unlock significantly higher data quality.