Vertrouwensregulatie Neuronen in Taalmodellen

Confidence Regulation Neurons in Language Models

June 24, 2024

Auteurs: Alessandro Stolfo, Ben Wu, Wes Gurnee, Yonatan Belinkov, Xingyi Song, Mrinmaya Sachan, Neel Nanda

cs.AI

Samenvatting

Ondanks hun wijdverbreide gebruik, blijven de mechanismen waarmee grote taalmmodellen (LLMs) onzekerheid in voorspellingen van volgende tokens representeren en reguleren grotendeels onontgonnen. Deze studie onderzoekt twee kritieke componenten waarvan wordt aangenomen dat ze deze onzekerheid beïnvloeden: de recent ontdekte entropieneuronen en een nieuwe set componenten die we tokenfrequentieneuronen noemen. Entropieneuronen worden gekenmerkt door een ongebruikelijk hoge gewichtsnorm en beïnvloeden de schaal van de laatste laagnormalisatie (LayerNorm) om de logits effectief te verkleinen. Ons werk toont aan dat entropieneuronen werken door te schrijven naar een oningebedde nulruimte, waardoor ze de norm van de reststroom kunnen beïnvloeden met een minimaal direct effect op de logits zelf. We observeren de aanwezigheid van entropieneuronen in een reeks modellen, tot wel 7 miljard parameters. Aan de andere kant versterken of onderdrukken tokenfrequentieneuronen, die we hier voor het eerst ontdekken en beschrijven, de logit van elk token evenredig met zijn logfrequentie, waardoor de uitvoerdistributie naar of weg van de unigramdistributie verschuift. Tot slot presenteren we een gedetailleerde casestudy waarin entropieneuronen actief het vertrouwen beheren in de context van inductie, d.w.z. het detecteren en voortzetten van herhaalde subreeksen.

English

Despite their widespread use, the mechanisms by which large language models (LLMs) represent and regulate uncertainty in next-token predictions remain largely unexplored. This study investigates two critical components believed to influence this uncertainty: the recently discovered entropy neurons and a new set of components that we term token frequency neurons. Entropy neurons are characterized by an unusually high weight norm and influence the final layer normalization (LayerNorm) scale to effectively scale down the logits. Our work shows that entropy neurons operate by writing onto an unembedding null space, allowing them to impact the residual stream norm with minimal direct effect on the logits themselves. We observe the presence of entropy neurons across a range of models, up to 7 billion parameters. On the other hand, token frequency neurons, which we discover and describe here for the first time, boost or suppress each token's logit proportionally to its log frequency, thereby shifting the output distribution towards or away from the unigram distribution. Finally, we present a detailed case study where entropy neurons actively manage confidence in the setting of induction, i.e. detecting and continuing repeated subsequences.