Sottosistema di Ricompense Sparse nei Modelli Linguistici di Grande Dimensione
Sparse Reward Subsystem in Large Language Models
February 1, 2026
Autori: Guowei Xu, Mert Yuksekgonul, James Zou
cs.AI
Abstract
In questo articolo, identifichiamo un sottosistema di ricompensa sparsa all'interno degli stati nascosti dei Large Language Model (LLM), tracciando un'analogia con il sottosistema di ricompensa biologico nel cervello umano. Dimostriamo che questo sottosistema contiene neuroni del valore che rappresentano l'aspettativa interna del modello riguardo al valore dello stato e, attraverso esperimenti di intervento, stabiliamo l'importanza di questi neuroni per il ragionamento. I nostri esperimenti rivelano che questi neuroni del valore sono robusti su diversi dataset, scale del modello e architetture; inoltre, mostrano una significativa trasferibilità attraverso diversi dataset e modelli addestrati a partire dallo stesso modello base. Esaminando i casi in cui le previsioni di valore e le ricompense effettive divergono, identifichiamo i neuroni della dopamina all'interno del sottosistema di ricompensa che codificano gli errori di previsione della ricompensa (RPE). Questi neuroni mostrano un'elevata attivazione quando la ricompensa è superiore al previsto e una bassa attivazione quando la ricompensa è inferiore al previsto.
English
In this paper, we identify a sparse reward subsystem within the hidden states of Large Language Models (LLMs), drawing an analogy to the biological reward subsystem in the human brain. We demonstrate that this subsystem contains value neurons that represent the model's internal expectation of state value, and through intervention experiments, we establish the importance of these neurons for reasoning. Our experiments reveal that these value neurons are robust across diverse datasets, model scales, and architectures; furthermore, they exhibit significant transferability across different datasets and models fine-tuned from the same base model. By examining cases where value predictions and actual rewards diverge, we identify dopamine neurons within the reward subsystem which encode reward prediction errors (RPE). These neurons exhibit high activation when the reward is higher than expected and low activation when the reward is lower than expected.