Подсистема разреженных вознаграждений в больших языковых моделях

Sparse Reward Subsystem in Large Language Models

February 1, 2026

Авторы: Guowei Xu, Mert Yuksekgonul, James Zou

cs.AI

Аннотация

В данной работе мы выявляем разреженную систему вознаграждения в скрытых состояниях больших языковых моделей (LLM), проводя аналогию с биологической системой вознаграждения в человеческом мозге. Мы демонстрируем, что эта система содержит ценностные нейроны, которые отражают внутреннее ожидание модели относительно ценности состояния, и с помощью интервенционных экспериментов устанавливаем важность этих нейронов для процесса рассуждений. Наши эксперименты показывают, что эти ценностные нейроны устойчивы к изменениям в различных наборах данных, масштабах моделей и архитектурах; более того, они демонстрируют значительную переносимость между разными наборами данных и моделями, дообученными на основе одной базовой модели. Анализируя случаи расхождения ценностных предсказаний и фактических вознаграждений, мы идентифицируем дофаминовые нейроны внутри системы вознаграждения, которые кодируют ошибки предсказания вознаграждения (RPE). Эти нейроны проявляют высокую активность, когда вознаграждение превышает ожидаемое, и низкую активность, когда вознаграждение оказывается ниже ожидаемого.

English

In this paper, we identify a sparse reward subsystem within the hidden states of Large Language Models (LLMs), drawing an analogy to the biological reward subsystem in the human brain. We demonstrate that this subsystem contains value neurons that represent the model's internal expectation of state value, and through intervention experiments, we establish the importance of these neurons for reasoning. Our experiments reveal that these value neurons are robust across diverse datasets, model scales, and architectures; furthermore, they exhibit significant transferability across different datasets and models fine-tuned from the same base model. By examining cases where value predictions and actual rewards diverge, we identify dopamine neurons within the reward subsystem which encode reward prediction errors (RPE). These neurons exhibit high activation when the reward is higher than expected and low activation when the reward is lower than expected.