Skywork-Reward-V2: Масштабирование подготовки данных предпочтений через синергию человека и ИИ

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

July 2, 2025

Авторы: Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

cs.AI

Аннотация

Несмотря на критическую роль моделей вознаграждения (RMs) в обучении с подкреплением на основе человеческой обратной связи (RLHF), современные открытые модели RMs демонстрируют низкую производительность на большинстве существующих оценочных тестов, не способных охватить спектр тонких и сложных человеческих предпочтений. Даже подходы, включающие передовые методы обучения, не привели к значительному улучшению производительности. Мы предполагаем, что эта хрупкость в основном обусловлена ограничениями в наборах данных предпочтений, которые часто узко сфокусированы, синтетически размечены или не имеют строгого контроля качества. Для решения этих проблем мы представляем крупномасштабный набор данных предпочтений, состоящий из 40 миллионов пар предпочтений, под названием SynPref-40M. Чтобы обеспечить масштабируемую обработку данных, мы разработали двухэтапный конвейер синергии человека и ИИ, который использует комплементарные преимущества качества аннотаций человека и масштабируемости ИИ. В этом конвейере люди предоставляют проверенные аннотации, а крупные языковые модели выполняют автоматическую обработку на основе человеческого руководства. Обучая на этой смеси предпочтений, мы представляем Skywork-Reward-V2 — набор из восьми моделей вознаграждения, варьирующихся от 0,6 до 8 миллиардов параметров, обученных на тщательно отобранном подмножестве из 26 миллионов пар предпочтений из SynPref-40M. Мы демонстрируем, что Skywork-Reward-V2 универсален в широком спектре возможностей, включая соответствие человеческим предпочтениям, объективную правильность, безопасность, устойчивость к стилистическим предубеждениям и масштабирование best-of-N, достигая передовых результатов на семи основных тестах моделей вознаграждения. Абляционные исследования подтверждают, что эффективность нашего подхода обусловлена не только масштабом данных, но и высоким качеством их обработки. Серия Skywork-Reward-V2 представляет собой значительный прогресс в области открытых моделей вознаграждения, подчеркивая неиспользованный потенциал существующих наборов данных предпочтений и демонстрируя, как синергия обработки данных человеком и ИИ может раскрыть значительно более высокое качество данных.

English

Despite the critical role of reward models (RMs) in reinforcement learning from human feedback (RLHF), current state-of-the-art open RMs perform poorly on most existing evaluation benchmarks, failing to capture the spectrum of nuanced and sophisticated human preferences. Even approaches that incorporate advanced training techniques have not yielded meaningful performance improvements. We hypothesize that this brittleness stems primarily from limitations in preference datasets, which are often narrowly scoped, synthetically labeled, or lack rigorous quality control. To address these challenges, we present a large-scale preference dataset comprising 40 million preference pairs, named SynPref-40M. To enable data curation at scale, we design a human-AI synergistic two-stage pipeline that leverages the complementary strengths of human annotation quality and AI scalability. In this pipeline, humans provide verified annotations, while large language models perform automatic curation based on human guidance. Training on this preference mixture, we introduce Skywork-Reward-V2, a suite of eight reward models ranging from 0.6B to 8B parameters, trained on a carefully curated subset of 26 million preference pairs from SynPref-40M. We demonstrate that Skywork-Reward-V2 is versatile across a wide range of capabilities, including alignment with human preferences, objective correctness, safety, resistance to stylistic biases, and best-of-N scaling, achieving state-of-the-art performance across seven major reward model benchmarks. Ablation studies confirm that the effectiveness of our approach stems not only from data scale but also from high-quality curation. The Skywork-Reward-V2 series represents substantial progress in open reward models, highlighting the untapped potential of existing preference datasets and demonstrating how human-AI curation synergy can unlock significantly higher data quality.