RLPR: Экстраполяция RLVR на общие области без использования верификаторов

Аннотация

Обучение с подкреплением с верифицируемыми наградами (RLVR) демонстрирует многообещающий потенциал в улучшении способностей к рассуждению у крупных языковых моделей (LLM). Однако его успех пока в основном ограничивается математическими и программными областями. Основное ограничение связано с сильной зависимостью от доменно-специфических верификаторов, что приводит к чрезмерной сложности и ограниченной масштабируемости. Чтобы решить эту проблему, мы обращаем внимание на то, что внутренняя вероятность LLM сгенерировать правильный свободный ответ напрямую указывает на её собственную оценку награды за рассуждение (т.е., насколько хорошо процесс рассуждения приводит к правильному ответу). На основе этого наблюдения мы предлагаем RLPR, простую верификатор-независимую структуру, которая расширяет RLVR на более широкие общие области. RLPR использует собственные вероятности токенов LLM для эталонных ответов в качестве сигнала награды и максимизирует ожидаемую награду в процессе обучения. Мы обнаруживаем, что устранение высокой дисперсии этой зашумлённой вероятностной награды имеет решающее значение для её эффективности, и предлагаем методы преобразования вероятностей в награду и стабилизации для обеспечения точной и стабильной награды на основе внутренних вероятностей LLM. Комплексные эксперименты на четырёх общих и трёх математических бенчмарках показывают, что RLPR последовательно улучшает способности к рассуждению в обеих областях для моделей на основе Gemma, Llama и Qwen. Примечательно, что RLPR превосходит конкурентный метод VeriFree на 7,6 балла на TheoremQA и на 7,5 балла на Minerva, а также опережает сильные подходы, зависящие от верификаторных моделей, такие как General-Reasoner, в среднем на 1,6 балла на семи бенчмарках.

English

Reinforcement Learning with Verifiable Rewards (RLVR) demonstrates promising potential in advancing the reasoning capabilities of LLMs. However, its success remains largely confined to mathematical and code domains. This primary limitation stems from the heavy reliance on domain-specific verifiers, which results in prohibitive complexity and limited scalability. To address the challenge, our key observation is that LLM's intrinsic probability of generating a correct free-form answer directly indicates its own evaluation of the reasoning reward (i.e., how well the reasoning process leads to the correct answer). Building on this insight, we propose RLPR, a simple verifier-free framework that extrapolates RLVR to broader general domains. RLPR uses the LLM's own token probability scores for reference answers as the reward signal and maximizes the expected reward during training. We find that addressing the high variance of this noisy probability reward is crucial to make it work, and propose prob-to-reward and stabilizing methods to ensure a precise and stable reward from LLM intrinsic probabilities. Comprehensive experiments in four general-domain benchmarks and three mathematical benchmarks show that RLPR consistently improves reasoning capabilities in both areas for Gemma, Llama, and Qwen based models. Notably, RLPR outperforms concurrent VeriFree by 7.6 points on TheoremQA and 7.5 points on Minerva, and even surpasses strong verifier-model-dependent approaches General-Reasoner by 1.6 average points across seven benchmarks.

RLPR: Экстраполяция RLVR на общие области без использования верификаторов

RLPR: Extrapolating RLVR to General Domains without Verifiers

Аннотация

Support