Skywork-Reward-V2: 人間とAIのシナジーによる選好データキュレーションのスケーリング

要旨

人間のフィードバックに基づく強化学習（RLHF）において、報酬モデル（RMs）は重要な役割を果たしているにもかかわらず、現在の最先端のオープンなRMsは、既存の評価ベンチマークのほとんどで低い性能を示し、微妙で洗練された人間の選好の幅を捉えることに失敗している。高度なトレーニング技術を取り入れたアプローチでさえ、有意な性能向上をもたらしていない。我々は、この脆弱性が主に選好データセットの制約に起因していると仮説を立てる。これらのデータセットは、しばしば範囲が狭く、人工的にラベル付けされているか、厳格な品質管理を欠いている。これらの課題に対処するため、我々は4000万の選好ペアからなる大規模な選好データセット「SynPref-40M」を提示する。大規模なデータキュレーションを可能にするため、人間のアノテーション品質とAIのスケーラビリティの相補的な強みを活用した、人間とAIの協調的な2段階パイプラインを設計した。このパイプラインでは、人間が検証済みのアノテーションを提供し、大規模言語モデルが人間のガイダンスに基づいて自動的なキュレーションを行う。この選好データセットを用いてトレーニングを行い、SynPref-40Mから慎重に選ばれた2600万の選好ペアに基づいてトレーニングされた、0.6Bから8Bパラメータまでの8つの報酬モデルからなる「Skywork-Reward-V2」を導入する。我々は、Skywork-Reward-V2が、人間の選好との整合性、客観的正しさ、安全性、スタイル的バイアスへの耐性、およびbest-of-Nスケーリングなど、幅広い能力において汎用的であり、7つの主要な報酬モデルベンチマークで最先端の性能を達成することを実証する。アブレーション研究により、我々のアプローチの有効性がデータ規模だけでなく、高品質なキュレーションにも起因していることが確認された。Skywork-Reward-V2シリーズは、オープンな報酬モデルにおける大きな進歩を示しており、既存の選好データセットの未開拓の可能性を強調し、人間とAIのキュレーションの相乗効果が大幅に高いデータ品質を実現できることを示している。

English

Despite the critical role of reward models (RMs) in reinforcement learning from human feedback (RLHF), current state-of-the-art open RMs perform poorly on most existing evaluation benchmarks, failing to capture the spectrum of nuanced and sophisticated human preferences. Even approaches that incorporate advanced training techniques have not yielded meaningful performance improvements. We hypothesize that this brittleness stems primarily from limitations in preference datasets, which are often narrowly scoped, synthetically labeled, or lack rigorous quality control. To address these challenges, we present a large-scale preference dataset comprising 40 million preference pairs, named SynPref-40M. To enable data curation at scale, we design a human-AI synergistic two-stage pipeline that leverages the complementary strengths of human annotation quality and AI scalability. In this pipeline, humans provide verified annotations, while large language models perform automatic curation based on human guidance. Training on this preference mixture, we introduce Skywork-Reward-V2, a suite of eight reward models ranging from 0.6B to 8B parameters, trained on a carefully curated subset of 26 million preference pairs from SynPref-40M. We demonstrate that Skywork-Reward-V2 is versatile across a wide range of capabilities, including alignment with human preferences, objective correctness, safety, resistance to stylistic biases, and best-of-N scaling, achieving state-of-the-art performance across seven major reward model benchmarks. Ablation studies confirm that the effectiveness of our approach stems not only from data scale but also from high-quality curation. The Skywork-Reward-V2 series represents substantial progress in open reward models, highlighting the untapped potential of existing preference datasets and demonstrating how human-AI curation synergy can unlock significantly higher data quality.

Skywork-Reward-V2: 人間とAIのシナジーによる選好データキュレーションのスケーリング

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

要旨

Support