Neuroni di Regolazione della Confidenza nei Modelli Linguistici

Confidence Regulation Neurons in Language Models

June 24, 2024

Autori: Alessandro Stolfo, Ben Wu, Wes Gurnee, Yonatan Belinkov, Xingyi Song, Mrinmaya Sachan, Neel Nanda

cs.AI

Abstract

Nonostante il loro ampio utilizzo, i meccanismi attraverso i quali i grandi modelli linguistici (LLM) rappresentano e regolano l'incertezza nelle previsioni del token successivo rimangono in gran parte inesplorati. Questo studio indaga due componenti critiche ritenute influenzare tale incertezza: i neuroni di entropia, scoperti di recente, e un nuovo insieme di componenti che definiamo neuroni di frequenza dei token. I neuroni di entropia sono caratterizzati da una norma dei pesi insolitamente elevata e influenzano la scala di normalizzazione dello strato finale (LayerNorm) per ridurre efficacemente i logit. Il nostro lavoro dimostra che i neuroni di entropia operano scrivendo su uno spazio nullo di de-embedding, consentendo loro di influenzare la norma del flusso residuo con un effetto diretto minimo sui logit stessi. Osserviamo la presenza di neuroni di entropia in una gamma di modelli, fino a 7 miliardi di parametri. D'altra parte, i neuroni di frequenza dei token, che scopriamo e descriviamo qui per la prima volta, aumentano o sopprimono il logit di ciascun token in proporzione alla sua frequenza logaritmica, spostando così la distribuzione dell'output verso o lontano dalla distribuzione unigramma. Infine, presentiamo uno studio di caso dettagliato in cui i neuroni di entropia gestiscono attivamente la fiducia nel contesto dell'induzione, ovvero nel rilevare e continuare sottosequenze ripetute.

English

Despite their widespread use, the mechanisms by which large language models (LLMs) represent and regulate uncertainty in next-token predictions remain largely unexplored. This study investigates two critical components believed to influence this uncertainty: the recently discovered entropy neurons and a new set of components that we term token frequency neurons. Entropy neurons are characterized by an unusually high weight norm and influence the final layer normalization (LayerNorm) scale to effectively scale down the logits. Our work shows that entropy neurons operate by writing onto an unembedding null space, allowing them to impact the residual stream norm with minimal direct effect on the logits themselves. We observe the presence of entropy neurons across a range of models, up to 7 billion parameters. On the other hand, token frequency neurons, which we discover and describe here for the first time, boost or suppress each token's logit proportionally to its log frequency, thereby shifting the output distribution towards or away from the unigram distribution. Finally, we present a detailed case study where entropy neurons actively manage confidence in the setting of induction, i.e. detecting and continuing repeated subsequences.