Ловушки верификаторов на основе правил и моделей — исследование на примере математических рассуждений

Pitfalls of Rule- and Model-based Verifiers -- A Case Study on Mathematical Reasoning

May 28, 2025

Авторы: Yuzhen Huang, Weihao Zeng, Xingshan Zeng, Qi Zhu, Junxian He

cs.AI

Аннотация

Надежные верификаторы играют ключевую роль в успехе обучения с подкреплением с верифицируемыми наградами (RLVR), которое является основной методологией, лежащей в основе различных крупных моделей рассуждений, таких как DeepSeek-R1. В сложных областях, таких как математические рассуждения, основанные на правилах верификаторы широко использовались в предыдущих работах для обучения мощных моделей рассуждений. Однако надежность этих верификаторов и их влияние на процесс обучения с подкреплением остаются недостаточно изученными. В данной работе мы рассматриваем математические рассуждения как пример и проводим всесторонний анализ различных верификаторов как в статической оценке, так и в сценариях обучения с подкреплением. Во-первых, мы обнаруживаем, что современные открытые верификаторы, основанные на правилах, часто не распознают эквивалентные ответы, представленные в разных форматах, в нескольких широко используемых математических наборах данных, что приводит к значительным уровням ложных отрицательных результатов. Это ограничение негативно сказывается на производительности обучения с подкреплением и становится более выраженным по мере усиления модели политики. Затем мы исследуем верификаторы, основанные на моделях, как потенциальное решение для устранения этих ограничений. Хотя статическая оценка показывает, что верификаторы, основанные на моделях, достигают значительно более высокой точности верификации, дальнейший анализ и результаты обучения с подкреплением указывают на их высокую уязвимость к взлому, когда они ошибочно классифицируют определенные шаблоны в ответах как правильные (т.е. ложные положительные результаты). Эта уязвимость эксплуатируется в процессе оптимизации модели политики, что приводит к искусственно завышенным наградам. Наши результаты подчеркивают уникальные риски, присущие как верификаторам, основанным на правилах, так и верификаторам, основанным на моделях, с целью предоставить ценные инсайты для разработки более надежных систем наград в обучении с подкреплением.

English

Trustworthy verifiers are essential for the success of reinforcement learning with verifiable reward (RLVR), which is the core methodology behind various large reasoning models such as DeepSeek-R1. In complex domains like mathematical reasoning, rule-based verifiers have been widely adopted in previous works to train strong reasoning models. However, the reliability of these verifiers and their impact on the RL training process remain poorly understood. In this work, we take mathematical reasoning as a case study and conduct a comprehensive analysis of various verifiers in both static evaluation and RL training scenarios. First, we find that current open-source rule-based verifiers often fail to recognize equivalent answers presented in different formats across multiple commonly used mathematical datasets, resulting in non-negligible false negative rates. This limitation adversely affects RL training performance and becomes more pronounced as the policy model gets stronger. Subsequently, we investigate model-based verifiers as a potential solution to address these limitations. While the static evaluation shows that model-based verifiers achieve significantly higher verification accuracy, further analysis and RL training results imply that they are highly susceptible to hacking, where they misclassify certain patterns in responses as correct (i.e., false positives). This vulnerability is exploited during policy model optimization, leading to artificially inflated rewards. Our findings underscore the unique risks inherent to both rule-based and model-based verifiers, aiming to offer valuable insights to develop more robust reward systems in reinforcement learning.