Skill-RM : Unifier des critères d'évaluation hétérogènes via les compétences d'agent

Résumé

Les modèles de récompense (RM) fournissent des signaux de rétroaction critiques pour le post-entraînement des LLM, notamment dans les pipelines de réglage fin renforcé (RFT) et d'apprentissage par renforcement (RL). Cependant, l'évaluation actuelle des récompenses repose sur des critères hétérogènes tels que des vérificateurs basés sur des règles, des références de vérité terrain, des listes de contrôle procédurales et des grilles d'évaluation complexes, pour lesquels un mécanisme unifié intégrant tous les types de preuves reste inexploré. À cette fin, nous proposons le modèle de récompense par compétence (Skill-RM), un cadre unifié qui reformule la modélisation de la récompense comme l'exécution d'une compétence d'évaluation de récompense réutilisable. En traitant le calcul de la récompense comme une tâche agentique structurée, Skill-RM offre une interface cohérente pour orchestrer des ressources hétérogènes, en sélectionnant et en agrégeant dynamiquement les preuves adaptées aux exigences spécifiques de chaque entrée. Cette approche permet au modèle de récompense de dépasser l'évaluation statique, garantissant cohérence et transparence à travers diverses tâches. Des expériences approfondies sur des références de récompense et des applications en aval, notamment la sélection du meilleur parmi N et l'apprentissage par renforcement, montrent que Skill-RM surpasse systématiquement les références de juges traditionnelles. Nos résultats suggèrent que Skill-RM offre non seulement une solution unifiée pour la modélisation de la récompense, mais atteint également des performances supérieures grâce à une orchestration stratégique et dynamique des preuves. Le code est disponible à l'adresse https://github.com/Qwen-Applications/Skill-RM.

English

Reward models (RMs) provide critical feedback signals for LLM post-training, notably in reinforced fine-tuning (RFT) and reinforcement learning (RL) pipelines. However, current reward evaluation relies on heterogeneous criteria such as rule-based verifiers, ground-truth references, procedural checklists, and complex rubrics, where a unified mechanism to integrate all types of evidence remains unexplored. To this end, we propose Skill Reward Model (Skill-RM), a unified framework that reformulates reward modeling as the execution of a reusable Reward-Evaluation Skill. By treating reward computation as a structured agentic task, Skill-RM provides a consistent interface to orchestrate heterogeneous resources, dynamically selecting and aggregating evidence tailored to the specific requirements of each input. This approach enables the reward model to move beyond static evaluation, ensuring consistency and transparency across diverse tasks. Extensive experiments on reward benchmarks and downstream applications, including best-of-N selection and reinforcement learning, demonstrate that Skill-RM consistently outperforms traditional judge baselines. Our findings suggest that Skill-RM not only provides a unified solution for reward modeling but also achieves superior performance through the strategic and dynamic orchestration of evidence. The code is at https://github.com/Qwen-Applications/Skill-RM.