Skywork-Reward-V2: Escalonando a Curadoria de Dados de Preferência por meio da Sinergia Humano-IA

Skywork-Reward-V2: Scaling Preference Data Curation via Human-AI Synergy

July 2, 2025

Autores: Chris Yuhao Liu, Liang Zeng, Yuzhen Xiao, Jujie He, Jiacai Liu, Chaojie Wang, Rui Yan, Wei Shen, Fuxiang Zhang, Jiacheng Xu, Yang Liu, Yahui Zhou

cs.AI

Resumo

Apesar do papel crucial dos modelos de recompensa (RMs) no aprendizado por reforço com feedback humano (RLHF), os modelos de recompensa abertos mais avançados atualmente têm um desempenho insatisfatório na maioria dos benchmarks de avaliação existentes, falhando em capturar o espectro de preferências humanas sutis e sofisticadas. Mesmo abordagens que incorporam técnicas avançadas de treinamento não resultaram em melhorias significativas de desempenho. Nossa hipótese é que essa fragilidade decorre principalmente das limitações nos conjuntos de dados de preferências, que muitas vezes têm escopo restrito, são rotulados sinteticamente ou carecem de controle de qualidade rigoroso. Para enfrentar esses desafios, apresentamos um conjunto de dados de preferências em larga escala, composto por 40 milhões de pares de preferências, denominado SynPref-40M. Para viabilizar a curadoria de dados em escala, projetamos um pipeline sinérgico humano-IA em duas etapas que aproveita as forças complementares da qualidade da anotação humana e da escalabilidade da IA. Nesse pipeline, humanos fornecem anotações verificadas, enquanto modelos de linguagem de grande porte realizam curadoria automática com base na orientação humana. Treinando com essa mistura de preferências, introduzimos o Skywork-Reward-V2, um conjunto de oito modelos de recompensa variando de 0,6B a 8B de parâmetros, treinados em um subconjunto cuidadosamente curado de 26 milhões de pares de preferências do SynPref-40M. Demonstramos que o Skywork-Reward-V2 é versátil em uma ampla gama de capacidades, incluindo alinhamento com preferências humanas, correção objetiva, segurança, resistência a vieses estilísticos e escalabilidade best-of-N, alcançando desempenho de ponta em sete benchmarks principais de modelos de recompensa. Estudos de ablação confirmam que a eficácia de nossa abordagem decorre não apenas da escala dos dados, mas também da curadoria de alta qualidade. A série Skywork-Reward-V2 representa um progresso substancial em modelos de recompensa abertos, destacando o potencial não explorado dos conjuntos de dados de preferências existentes e demonstrando como a sinergia de curadoria humano-IA pode desbloquear uma qualidade de dados significativamente maior.

English

Despite the critical role of reward models (RMs) in reinforcement learning from human feedback (RLHF), current state-of-the-art open RMs perform poorly on most existing evaluation benchmarks, failing to capture the spectrum of nuanced and sophisticated human preferences. Even approaches that incorporate advanced training techniques have not yielded meaningful performance improvements. We hypothesize that this brittleness stems primarily from limitations in preference datasets, which are often narrowly scoped, synthetically labeled, or lack rigorous quality control. To address these challenges, we present a large-scale preference dataset comprising 40 million preference pairs, named SynPref-40M. To enable data curation at scale, we design a human-AI synergistic two-stage pipeline that leverages the complementary strengths of human annotation quality and AI scalability. In this pipeline, humans provide verified annotations, while large language models perform automatic curation based on human guidance. Training on this preference mixture, we introduce Skywork-Reward-V2, a suite of eight reward models ranging from 0.6B to 8B parameters, trained on a carefully curated subset of 26 million preference pairs from SynPref-40M. We demonstrate that Skywork-Reward-V2 is versatile across a wide range of capabilities, including alignment with human preferences, objective correctness, safety, resistance to stylistic biases, and best-of-N scaling, achieving state-of-the-art performance across seven major reward model benchmarks. Ablation studies confirm that the effectiveness of our approach stems not only from data scale but also from high-quality curation. The Skywork-Reward-V2 series represents substantial progress in open reward models, highlighting the untapped potential of existing preference datasets and demonstrating how human-AI curation synergy can unlock significantly higher data quality.