Skill-RM: Vereinheitlichung heterogener Bewertungskriterien durch Agentenfähigkeit

Zusammenfassung

Belohnungsmodelle (RMs) liefern kritische Rückmeldungssignale für das Post-Training von LLMs, insbesondere in Pipelines für verstärktes Feintuning (RFT) und bestärkendes Lernen (RL). Die derzeitige Bewertung von Belohnungen basiert jedoch auf heterogenen Kriterien wie regelbasierten Verifizierern, Ground-Truth-Referenzen, prozeduralen Checklisten und komplexen Bewertungsrastern, wobei ein einheitlicher Mechanismus zur Integration aller Evidenztypen bislang nicht erforscht ist. Zu diesem Zweck schlagen wir das Skill Reward Model (Skill-RM) vor, ein einheitliches Framework, das die Belohnungsmodellierung als Ausführung einer wiederverwendbaren Reward-Evaluation-Skill neu formuliert. Indem die Berechnung der Belohnung als strukturierte agentische Aufgabe behandelt wird, bietet Skill-RM eine konsistente Schnittstelle zur Orchestrierung heterogener Ressourcen und wählt dynamisch Evidenz aus und aggregiert sie, die auf die spezifischen Anforderungen jeder Eingabe zugeschnitten ist. Dieser Ansatz ermöglicht es dem Belohnungsmodell, über eine statische Bewertung hinauszugehen und sorgt für Konsistenz und Transparenz über verschiedene Aufgaben hinweg. Umfangreiche Experimente mit Belohnungs-Benchmarks und nachgelagerten Anwendungen, einschließlich Best-of-N-Auswahl und bestärkendem Lernen, zeigen, dass Skill-RM durchgängig bessere Ergebnisse als traditionelle Judge-Baselines erzielt. Unsere Ergebnisse deuten darauf hin, dass Skill-RM nicht nur eine einheitliche Lösung für die Belohnungsmodellierung bietet, sondern durch die strategische und dynamische Orchestrierung von Evidenz auch eine überlegene Leistung erreicht. Der Code ist verfügbar unter https://github.com/Qwen-Applications/Skill-RM.

English

Reward models (RMs) provide critical feedback signals for LLM post-training, notably in reinforced fine-tuning (RFT) and reinforcement learning (RL) pipelines. However, current reward evaluation relies on heterogeneous criteria such as rule-based verifiers, ground-truth references, procedural checklists, and complex rubrics, where a unified mechanism to integrate all types of evidence remains unexplored. To this end, we propose Skill Reward Model (Skill-RM), a unified framework that reformulates reward modeling as the execution of a reusable Reward-Evaluation Skill. By treating reward computation as a structured agentic task, Skill-RM provides a consistent interface to orchestrate heterogeneous resources, dynamically selecting and aggregating evidence tailored to the specific requirements of each input. This approach enables the reward model to move beyond static evaluation, ensuring consistency and transparency across diverse tasks. Extensive experiments on reward benchmarks and downstream applications, including best-of-N selection and reinforcement learning, demonstrate that Skill-RM consistently outperforms traditional judge baselines. Our findings suggest that Skill-RM not only provides a unified solution for reward modeling but also achieves superior performance through the strategic and dynamic orchestration of evidence. The code is at https://github.com/Qwen-Applications/Skill-RM.