Skill-RM: Объединение гетерогенных критериев оценки посредством навыка агента

Аннотация

Модели вознаграждения (RM) предоставляют критически важные сигналы обратной связи для пост-тренировки больших языковых моделей (LLM), особенно в конвейерах усиленной точной настройки (RFT) и обучения с подкреплением (RL). Однако текущая оценка вознаграждения опирается на разнородные критерии, такие как основанные на правилах верификаторы, эталонные истинные значения, процедурные контрольные списки и сложные рубрики, где единый механизм для интеграции всех типов свидетельств остается неизученным. В связи с этим мы предлагаем Skill Reward Model (Skill-RM) — единую структуру, которая переопределяет моделирование вознаграждения как выполнение повторно используемого навыка оценки вознаграждения. Рассматривая вычисление вознаграждения как структурированную агентную задачу, Skill-RM предоставляет последовательный интерфейс для координации разнородных ресурсов, динамически выбирая и агрегируя свидетельства, адаптированные к конкретным требованиям каждого входа. Такой подход позволяет модели вознаграждения выйти за рамки статической оценки, обеспечивая согласованность и прозрачность в различных задачах. Обширные эксперименты на бенчмарках вознаграждения и прикладных задачах, включая выбор лучшего из N и обучение с подкреплением, показывают, что Skill-RM последовательно превосходит традиционные базовые модели-судьи. Наши результаты свидетельствуют о том, что Skill-RM не только предоставляет единое решение для моделирования вознаграждения, но и достигает превосходной производительности за счет стратегической и динамической координации свидетельств. Код доступен по адресу https://github.com/Qwen-Applications/Skill-RM.

English

Reward models (RMs) provide critical feedback signals for LLM post-training, notably in reinforced fine-tuning (RFT) and reinforcement learning (RL) pipelines. However, current reward evaluation relies on heterogeneous criteria such as rule-based verifiers, ground-truth references, procedural checklists, and complex rubrics, where a unified mechanism to integrate all types of evidence remains unexplored. To this end, we propose Skill Reward Model (Skill-RM), a unified framework that reformulates reward modeling as the execution of a reusable Reward-Evaluation Skill. By treating reward computation as a structured agentic task, Skill-RM provides a consistent interface to orchestrate heterogeneous resources, dynamically selecting and aggregating evidence tailored to the specific requirements of each input. This approach enables the reward model to move beyond static evaluation, ensuring consistency and transparency across diverse tasks. Extensive experiments on reward benchmarks and downstream applications, including best-of-N selection and reinforcement learning, demonstrate that Skill-RM consistently outperforms traditional judge baselines. Our findings suggest that Skill-RM not only provides a unified solution for reward modeling but also achieves superior performance through the strategic and dynamic orchestration of evidence. The code is at https://github.com/Qwen-Applications/Skill-RM.