Subsistema de Recompensa Esparsa em Modelos de Linguagem de Grande Porte
Sparse Reward Subsystem in Large Language Models
February 1, 2026
Autores: Guowei Xu, Mert Yuksekgonul, James Zou
cs.AI
Resumo
Neste artigo, identificamos um subsistema de recompensa esparsa nos estados ocultos de Modelos de Linguagem de Grande Porte (LLMs), estabelecendo uma analogia com o subsistema de recompensa biológico no cérebro humano. Demonstramos que este subsistema contém neurônios de valor que representam a expectativa interna do modelo em relação ao valor do estado, e através de experimentos de intervenção, comprovamos a importância desses neurônios para o raciocínio. Nossos experimentos revelam que esses neurônios de valor são robustos em diversos conjuntos de dados, escalas de modelo e arquiteturas; além disso, eles exibem significativa transferibilidade entre diferentes conjuntos de dados e modelos refinados a partir do mesmo modelo base. Ao examinar casos em que as previsões de valor e as recompensas reais divergem, identificamos neurônios de dopamina dentro do subsistema de recompensa que codificam erros de previsão de recompensa (RPE). Esses neurônios exibem alta ativação quando a recompensa é maior do que o esperado e baixa ativação quando a recompensa é menor do que o esperado.
English
In this paper, we identify a sparse reward subsystem within the hidden states of Large Language Models (LLMs), drawing an analogy to the biological reward subsystem in the human brain. We demonstrate that this subsystem contains value neurons that represent the model's internal expectation of state value, and through intervention experiments, we establish the importance of these neurons for reasoning. Our experiments reveal that these value neurons are robust across diverse datasets, model scales, and architectures; furthermore, they exhibit significant transferability across different datasets and models fine-tuned from the same base model. By examining cases where value predictions and actual rewards diverge, we identify dopamine neurons within the reward subsystem which encode reward prediction errors (RPE). These neurons exhibit high activation when the reward is higher than expected and low activation when the reward is lower than expected.