Skill-RM: Het verenigen van heterogene evaluatiecriteria via agentvaardigheid

Samenvatting

Beloningsmodellen (RMs) leveren kritische feedbacksignalen voor post-training van LLMs, met name in versterkte fijnafstemming (RFT) en reinforcement learning (RL) pijplijnen. De huidige beloningsevaluatie is echter gebaseerd op heterogene criteria zoals op regels gebaseerde verificatoren, grondwaarheidreferenties, procedurele checklists en complexe rubrieken, waarbij een uniform mechanisme om alle soorten bewijs te integreren onontgonnen blijft. Hiertoe stellen we het Skill Reward Model (Skill-RM) voor, een uniform raamwerk dat beloningsmodellering herformuleert als de uitvoering van een herbruikbare Belonings-Evaluatievaardigheid. Door beloningsberekening te behandelen als een gestructureerde agentische taak, biedt Skill-RM een consistente interface om heterogene bronnen te orkestreren, waarbij dynamisch bewijsmateriaal wordt geselecteerd en samengevoegd dat is afgestemd op de specifieke vereisten van elke invoer. Deze aanpak stelt het beloningsmodel in staat om verder te gaan dan statische evaluatie, waarbij consistentie en transparantie over diverse taken worden gewaarborgd. Uitgebreide experimenten op beloningsbenchmarks en downstreamtoepassingen, waaronder best-of-N selectie en reinforcement learning, tonen aan dat Skill-RM consequent beter presteert dan traditionele rechter-baselines. Onze bevindingen suggereren dat Skill-RM niet alleen een uniforme oplossing biedt voor beloningsmodellering, maar ook superieure prestaties levert door de strategische en dynamische orkestratie van bewijsmateriaal. De code is beschikbaar op https://github.com/Qwen-Applications/Skill-RM.

English

Reward models (RMs) provide critical feedback signals for LLM post-training, notably in reinforced fine-tuning (RFT) and reinforcement learning (RL) pipelines. However, current reward evaluation relies on heterogeneous criteria such as rule-based verifiers, ground-truth references, procedural checklists, and complex rubrics, where a unified mechanism to integrate all types of evidence remains unexplored. To this end, we propose Skill Reward Model (Skill-RM), a unified framework that reformulates reward modeling as the execution of a reusable Reward-Evaluation Skill. By treating reward computation as a structured agentic task, Skill-RM provides a consistent interface to orchestrate heterogeneous resources, dynamically selecting and aggregating evidence tailored to the specific requirements of each input. This approach enables the reward model to move beyond static evaluation, ensuring consistency and transparency across diverse tasks. Extensive experiments on reward benchmarks and downstream applications, including best-of-N selection and reinforcement learning, demonstrate that Skill-RM consistently outperforms traditional judge baselines. Our findings suggest that Skill-RM not only provides a unified solution for reward modeling but also achieves superior performance through the strategic and dynamic orchestration of evidence. The code is at https://github.com/Qwen-Applications/Skill-RM.