Вероятностное проектирование вознаграждений для общего логического вывода больших языковых моделей

Likelihood-Based Reward Designs for General LLM Reasoning

February 3, 2026

Авторы: Ariel Kwiatkowski, Natasha Butt, Ismail Labiad, Julia Kempe, Yann Ollivier

cs.AI

Аннотация

Тонкая настройка больших языковых моделей (LLM) на наборах данных для проверки рассуждений с помощью обучения с подкреплением требует специфической функции вознаграждения, часто бинарной, для каждого набора данных. Это сопряжено с двумя потенциальными ограничениями: необходимостью проектирования вознаграждения и потенциально разреженным характером бинарных вознаграждений. В данной работе мы систематически исследуем вознаграждения, получаемые из вероятности или логарифма вероятности генерации эталонного ответа (или любого другого продолжения промпта, присутствующего в данных), которые имеют то преимущество, что не зависят от специфических верификаторов и доступны в больших масштабах. Несколько недавних работ выступили за использование аналогичных вознаграждений (например, VeriFree, JEPO, RLPR, NOVER). Мы систематически сравниваем варианты вознаграждений на основе правдоподобия со стандартными базовыми методами, тестируя производительность как на стандартных наборах данных для математических рассуждений, так и на задачах с развернутыми ответами, где внешний верификатор недоступен. Мы обнаруживаем, что использование логарифма вероятности эталонного ответа в качестве вознаграждения для обучения с цепочкой рассуждений (CoT) является единственным вариантом, который хорошо работает во всех сценариях. Это вознаграждение также согласуется с функцией потерь на основе логарифма правдоподобия следующего токена, используемой во время предварительного обучения. В условиях, где возможна верификация, вознаграждения на основе логарифма вероятности обеспечивают сопоставимый или более высокий процент успеха, чем подкрепление стандартными бинарными вознаграждениями, и дают значительно лучшую перплексию. В условиях, где верификация невозможна, они работают наравне с SFT. С другой стороны, методы, основанные на вероятности, такие как VeriFree, не работают в условиях без верификации из-за ничтожно малой вероятности получения правильного ответа. В целом, это устанавливает вознаграждения на основе логарифма вероятности как жизнеспособный метод для тонкой настройки CoT, объединяющий сценарии с короткими, верифицируемыми и длинными, неверифицируемыми ответами.

English

Fine-tuning large language models (LLMs) on reasoning benchmarks via reinforcement learning requires a specific reward function, often binary, for each benchmark. This comes with two potential limitations: the need to design the reward, and the potentially sparse nature of binary rewards. Here, we systematically investigate rewards derived from the probability or log-probability of emitting the reference answer (or any other prompt continuation present in the data), which have the advantage of not relying on specific verifiers and being available at scale. Several recent works have advocated for the use of similar rewards (e.g., VeriFree, JEPO, RLPR, NOVER). We systematically compare variants of likelihood-based rewards with standard baselines, testing performance both on standard mathematical reasoning benchmarks, and on long-form answers where no external verifier is available. We find that using the log-probability of the reference answer as the reward for chain-of-thought (CoT) learning is the only option that performs well in all setups. This reward is also consistent with the next-token log-likelihood loss used during pretraining. In verifiable settings, log-probability rewards bring comparable or better success rates than reinforcing with standard binary rewards, and yield much better perplexity. In non-verifiable settings, they perform on par with SFT. On the other hand, methods based on probability, such as VeriFree, flatline on non-verifiable settings due to vanishing probabilities of getting the correct answer. Overall, this establishes log-probability rewards as a viable method for CoT fine-tuning, bridging the short, verifiable and long, non-verifiable answer settings.