Subsistema de Recompensas Dispersas en Modelos de Lenguaje a Gran Escala
Sparse Reward Subsystem in Large Language Models
February 1, 2026
Autores: Guowei Xu, Mert Yuksekgonul, James Zou
cs.AI
Resumen
En este trabajo, identificamos un subsistema de recompensa dispersa dentro de los estados ocultos de los Modelos de Lenguaje a Gran Escala (LLMs), estableciendo una analogía con el subsistema de recompensa biológico en el cerebro humano. Demostramos que este subsistema contiene neuronas de valor que representan la expectativa interna del modelo sobre el valor del estado, y mediante experimentos de intervención, establecemos la importancia de estas neuronas para el razonamiento. Nuestros experimentos revelan que estas neuronas de valor son robustas en diversos conjuntos de datos, escalas de modelos y arquitecturas; además, exhiben una transferibilidad significativa entre diferentes conjuntos de datos y modelos ajustados a partir del mismo modelo base. Al examinar casos en los que las predicciones de valor y las recompensas reales divergen, identificamos neuronas de dopamina dentro del subsistema de recompensa que codifican errores de predicción de recompensa (RPE). Estas neuronas exhiben una alta activación cuando la recompensa es mayor de lo esperado y una baja activación cuando la recompensa es menor de lo esperado.
English
In this paper, we identify a sparse reward subsystem within the hidden states of Large Language Models (LLMs), drawing an analogy to the biological reward subsystem in the human brain. We demonstrate that this subsystem contains value neurons that represent the model's internal expectation of state value, and through intervention experiments, we establish the importance of these neurons for reasoning. Our experiments reveal that these value neurons are robust across diverse datasets, model scales, and architectures; furthermore, they exhibit significant transferability across different datasets and models fine-tuned from the same base model. By examining cases where value predictions and actual rewards diverge, we identify dopamine neurons within the reward subsystem which encode reward prediction errors (RPE). These neurons exhibit high activation when the reward is higher than expected and low activation when the reward is lower than expected.