TinyV: Снижение ложных отрицаний при верификации улучшает обучение с подкреплением для рассуждений на основе больших языковых моделей

TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

May 20, 2025

Авторы: Zhangchen Xu, Yuetai Li, Fengqing Jiang, Bhaskar Ramasubramanian, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

cs.AI

Аннотация

Обучение с подкреплением (Reinforcement Learning, RL) стало мощным инструментом для улучшения способностей к рассуждению у крупных языковых моделей (Large Language Models, LLMs) за счет оптимизации их политик с использованием сигналов вознаграждения. Однако успех RL зависит от надежности вознаграждений, которые предоставляются верификаторами. В данной работе мы выявляем и анализируем широко распространенную проблему — ложные отрицания, когда верификаторы ошибочно отвергают корректные выходы модели. Наше детальное исследование набора данных Big-Math-RL-Verified показывает, что более 38% сгенерированных моделью ответов страдают от ложных отрицаний, когда верификатор не распознает правильные ответы. Мы демонстрируем как эмпирически, так и теоретически, что эти ложные отрицания серьезно ухудшают обучение RL, лишая модель информативных градиентных сигналов и замедляя сходимость. Для решения этой проблемы мы предлагаем tinyV — легковесный верификатор на основе LLM, который дополняет существующие правила, динамически выявляя потенциальные ложные отрицания и восстанавливая корректные ответы для получения более точных оценок вознаграждения. На нескольких бенчмарках математических рассуждений интеграция TinyV повышает процент успешных решений до 10% и ускоряет сходимость по сравнению с базовым подходом. Наши результаты подчеркивают критическую важность устранения ложных отрицаний верификаторов и предлагают практический подход для улучшения тонкой настройки LLM с использованием RL. Наш код доступен по адресу https://github.com/uw-nsl/TinyV.

English

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL's success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem--false negatives--where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.