Neurônios de Regulação de Confiança em Modelos de Linguagem

Confidence Regulation Neurons in Language Models

June 24, 2024

Autores: Alessandro Stolfo, Ben Wu, Wes Gurnee, Yonatan Belinkov, Xingyi Song, Mrinmaya Sachan, Neel Nanda

cs.AI

Resumo

Apesar de seu uso generalizado, os mecanismos pelos quais os grandes modelos de linguagem (LLMs) representam e regulam a incerteza nas previsões do próximo token permanecem amplamente inexplorados. Este estudo investiga dois componentes críticos acreditados influenciar essa incerteza: os neurônios de entropia recentemente descobertos e um novo conjunto de componentes que denominamos neurônios de frequência de token. Os neurônios de entropia são caracterizados por uma norma de peso incomumente alta e influenciam a escala de normalização da camada final (LayerNorm) para dimensionar efetivamente os logits para baixo. Nosso trabalho mostra que os neurônios de entropia operam escrevendo em um espaço nulo de desassociação, permitindo que impactem a norma do fluxo residual com um efeito direto mínimo nos próprios logits. Observamos a presença de neurônios de entropia em uma variedade de modelos, até 7 bilhões de parâmetros. Por outro lado, os neurônios de frequência de token, que descobrimos e descrevemos aqui pela primeira vez, aumentam ou suprimem proporcionalmente o logit de cada token de acordo com sua frequência de log, deslocando assim a distribuição de saída para mais perto ou mais longe da distribuição unigram. Por fim, apresentamos um estudo de caso detalhado em que os neurônios de entropia gerenciam ativamente a confiança no cenário de indução, ou seja, detectando e continuando subsequências repetidas.

English

Despite their widespread use, the mechanisms by which large language models (LLMs) represent and regulate uncertainty in next-token predictions remain largely unexplored. This study investigates two critical components believed to influence this uncertainty: the recently discovered entropy neurons and a new set of components that we term token frequency neurons. Entropy neurons are characterized by an unusually high weight norm and influence the final layer normalization (LayerNorm) scale to effectively scale down the logits. Our work shows that entropy neurons operate by writing onto an unembedding null space, allowing them to impact the residual stream norm with minimal direct effect on the logits themselves. We observe the presence of entropy neurons across a range of models, up to 7 billion parameters. On the other hand, token frequency neurons, which we discover and describe here for the first time, boost or suppress each token's logit proportionally to its log frequency, thereby shifting the output distribution towards or away from the unigram distribution. Finally, we present a detailed case study where entropy neurons actively manage confidence in the setting of induction, i.e. detecting and continuing repeated subsequences.