Schaarse Beloningssubsystemen in Grote Taalmodellen
Sparse Reward Subsystem in Large Language Models
February 1, 2026
Auteurs: Guowei Xu, Mert Yuksekgonul, James Zou
cs.AI
Samenvatting
In dit artikel identificeren we een subsysteem voor schaarse beloningen in de verborgen toestanden van Large Language Models (LLMs), waarbij we een analogie trekken met het biologische beloningssubsysteem in het menselijk brein. We tonen aan dat dit subsysteem waardeneuronen bevat die de interne verwachting van de modelwaarde van een toestand vertegenwoordigen, en we stellen door interventie-experimenten het belang van deze neuronen voor redeneren vast. Onze experimenten onthullen dat deze waardeneuronen robuust zijn over diverse datasets, modelschalen en architecturen; bovendien vertonen ze een aanzienlijke overdraagbaarheid tussen verschillende datasets en modellen die zijn gefinetuned vanuit hetzelfde basismodel. Door gevallen te onderzoeken waarin waardevoorspellingen en werkelijke beloningen uiteenlopen, identificeren we dopamine-neuronen binnen het beloningssubsysteem die beloningsvoorspellingsfouten (RPE) coderen. Deze neuronen vertonen een hoge activering wanneer de beloning hoger is dan verwacht en een lage activering wanneer de beloning lager is dan verwacht.
English
In this paper, we identify a sparse reward subsystem within the hidden states of Large Language Models (LLMs), drawing an analogy to the biological reward subsystem in the human brain. We demonstrate that this subsystem contains value neurons that represent the model's internal expectation of state value, and through intervention experiments, we establish the importance of these neurons for reasoning. Our experiments reveal that these value neurons are robust across diverse datasets, model scales, and architectures; furthermore, they exhibit significant transferability across different datasets and models fine-tuned from the same base model. By examining cases where value predictions and actual rewards diverge, we identify dopamine neurons within the reward subsystem which encode reward prediction errors (RPE). These neurons exhibit high activation when the reward is higher than expected and low activation when the reward is lower than expected.