Sous-système de Récompense Éparse dans les Modèles de Langue à Grande Échelle
Sparse Reward Subsystem in Large Language Models
February 1, 2026
papers.authors: Guowei Xu, Mert Yuksekgonul, James Zou
cs.AI
papers.abstract
Dans cet article, nous identifions un sous-système de récompense éparse au sein des états cachés des grands modèles de langage (LLM), en établissant une analogie avec le sous-système de récompense biologique du cerveau humain. Nous démontrons que ce sous-système contient des neurones de valeur qui représentent l'espérance interne du modèle concernant la valeur d'un état, et grâce à des expériences d'intervention, nous établissons l'importance de ces neurones pour le raisonnement. Nos expériences révèlent que ces neurones de valeur sont robustes sur divers jeux de données, échelles de modèles et architectures ; de plus, ils présentent une transférabilité significative entre différents jeux de données et modèles affinés à partir du même modèle de base. En examinant les cas où les prédictions de valeur et les récompenses réelles divergent, nous identifions des neurones dopaminergiques au sein du sous-système de récompense qui codent les erreurs de prédiction de la récompense (RPE). Ces neurones présentent une activation élevée lorsque la récompense est supérieure aux attentes et une activation faible lorsque la récompense est inférieure aux attentes.
English
In this paper, we identify a sparse reward subsystem within the hidden states of Large Language Models (LLMs), drawing an analogy to the biological reward subsystem in the human brain. We demonstrate that this subsystem contains value neurons that represent the model's internal expectation of state value, and through intervention experiments, we establish the importance of these neurons for reasoning. Our experiments reveal that these value neurons are robust across diverse datasets, model scales, and architectures; furthermore, they exhibit significant transferability across different datasets and models fine-tuned from the same base model. By examining cases where value predictions and actual rewards diverge, we identify dopamine neurons within the reward subsystem which encode reward prediction errors (RPE). These neurons exhibit high activation when the reward is higher than expected and low activation when the reward is lower than expected.