Skywork-Reward-V2: Skalierung der Präferenzdatenkuratierung durch Mensch-KI-Synergie

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

July 2, 2025

Autoren: Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

cs.AI

Zusammenfassung

Trotz der entscheidenden Rolle von Belohnungsmodellen (RMs) beim Reinforcement Learning aus menschlichem Feedback (RLHF) schneiden aktuelle state-of-the-art offene RMs in den meisten bestehenden Evaluierungsbenchmarks schlecht ab und erfassen nicht das Spektrum nuancenreicher und anspruchsvoller menschlicher Präferenzen. Selbst Ansätze, die fortschrittliche Trainingstechniken einbeziehen, haben keine signifikanten Leistungsverbesserungen erzielt. Wir vermuten, dass diese Anfälligkeit hauptsächlich auf Einschränkungen in Präferenzdatensätzen zurückzuführen ist, die oft eng gefasst, synthetisch beschriftet oder ohne strenge Qualitätskontrolle sind. Um diese Herausforderungen zu bewältigen, präsentieren wir einen groß angelegten Präferenzdatensatz mit 40 Millionen Präferenzpaaren, genannt SynPref-40M. Um die Datenkuratierung in großem Maßstab zu ermöglichen, entwickeln wir eine menschlich-KI-synergetische zweistufige Pipeline, die die komplementären Stärken der menschlichen Annotationsqualität und der KI-Skalierbarkeit nutzt. In dieser Pipeline liefern Menschen verifizierte Annotationen, während große Sprachmodelle automatische Kuratierung auf der Grundlage menschlicher Anleitung durchführen. Basierend auf diesem Präferenzmix führen wir Skywork-Reward-V2 ein, eine Suite von acht Belohnungsmodellen mit Parametern zwischen 0,6B und 8B, die auf einer sorgfältig kuratierten Teilmenge von 26 Millionen Präferenzpaaren aus SynPref-40M trainiert wurden. Wir zeigen, dass Skywork-Reward-V2 vielseitig über ein breites Spektrum von Fähigkeiten hinweg ist, einschließlich der Ausrichtung an menschlichen Präferenzen, objektiver Korrektheit, Sicherheit, Widerstandsfähigkeit gegen stilistische Verzerrungen und Best-of-N-Skalierung, und state-of-the-art-Leistungen in sieben großen Belohnungsmodell-Benchmarks erzielt. Ablationsstudien bestätigen, dass die Wirksamkeit unseres Ansatzes nicht nur auf der Datenmenge, sondern auch auf der hochwertigen Kuratierung beruht. Die Skywork-Reward-V2-Serie stellt einen erheblichen Fortschritt bei offenen Belohnungsmodellen dar, hebt das ungenutzte Potenzial bestehender Präferenzdatensätze hervor und zeigt, wie die Synergie zwischen menschlicher und KI-Kuratierung eine signifikant höhere Datenqualität freisetzen kann.

English

Despite the critical role of reward models (RMs) in reinforcement learning from human feedback (RLHF), current state-of-the-art open RMs perform poorly on most existing evaluation benchmarks, failing to capture the spectrum of nuanced and sophisticated human preferences. Even approaches that incorporate advanced training techniques have not yielded meaningful performance improvements. We hypothesize that this brittleness stems primarily from limitations in preference datasets, which are often narrowly scoped, synthetically labeled, or lack rigorous quality control. To address these challenges, we present a large-scale preference dataset comprising 40 million preference pairs, named SynPref-40M. To enable data curation at scale, we design a human-AI synergistic two-stage pipeline that leverages the complementary strengths of human annotation quality and AI scalability. In this pipeline, humans provide verified annotations, while large language models perform automatic curation based on human guidance. Training on this preference mixture, we introduce Skywork-Reward-V2, a suite of eight reward models ranging from 0.6B to 8B parameters, trained on a carefully curated subset of 26 million preference pairs from SynPref-40M. We demonstrate that Skywork-Reward-V2 is versatile across a wide range of capabilities, including alignment with human preferences, objective correctness, safety, resistance to stylistic biases, and best-of-N scaling, achieving state-of-the-art performance across seven major reward model benchmarks. Ablation studies confirm that the effectiveness of our approach stems not only from data scale but also from high-quality curation. The Skywork-Reward-V2 series represents substantial progress in open reward models, highlighting the untapped potential of existing preference datasets and demonstrating how human-AI curation synergy can unlock significantly higher data quality.