Vertrauensregulierungsneuronen in Sprachmodellen

Confidence Regulation Neurons in Language Models

June 24, 2024

Autoren: Alessandro Stolfo, Ben Wu, Wes Gurnee, Yonatan Belinkov, Xingyi Song, Mrinmaya Sachan, Neel Nanda

cs.AI

Zusammenfassung

Trotz ihrer weit verbreiteten Verwendung bleiben die Mechanismen, mit denen große Sprachmodelle (LLMs) Unsicherheiten bei Vorhersagen des nächsten Tokens darstellen und regulieren, weitgehend unerforscht. Diese Studie untersucht zwei entscheidende Komponenten, von denen angenommen wird, dass sie diese Unsicherheit beeinflussen: die kürzlich entdeckten Entropieneuronen und eine neue Reihe von Komponenten, die wir als Token-Frequenz-Neuronen bezeichnen. Entropieneuronen zeichnen sich durch eine ungewöhnlich hohe Gewichtsnorm aus und beeinflussen die Skalierung der Endschichtnormalisierung (LayerNorm), um die Logits effektiv zu reduzieren. Unsere Arbeit zeigt, dass Entropieneuronen durch Schreiben in einen Unembedding-Nullraum arbeiten, was es ihnen ermöglicht, den Reststromnorm mit minimalem direktem Einfluss auf die Logits selbst zu beeinflussen. Wir beobachten das Vorhandensein von Entropieneuronen in einer Reihe von Modellen mit bis zu 7 Milliarden Parametern. Andererseits verstärken oder unterdrücken Token-Frequenz-Neuronen, die wir hier erstmals entdecken und beschreiben, den Logit jedes Tokens proportional zu seiner logarithmischen Häufigkeit und verschieben so die Ausgabeverteilung in Richtung oder weg von der Unigrammverteilung. Schließlich präsentieren wir eine detaillierte Fallstudie, in der Entropieneuronen aktiv das Vertrauen in der Induktionsumgebung steuern, d.h. das Erkennen und Fortsetzen wiederholter Teilfolgen.

English

Despite their widespread use, the mechanisms by which large language models (LLMs) represent and regulate uncertainty in next-token predictions remain largely unexplored. This study investigates two critical components believed to influence this uncertainty: the recently discovered entropy neurons and a new set of components that we term token frequency neurons. Entropy neurons are characterized by an unusually high weight norm and influence the final layer normalization (LayerNorm) scale to effectively scale down the logits. Our work shows that entropy neurons operate by writing onto an unembedding null space, allowing them to impact the residual stream norm with minimal direct effect on the logits themselves. We observe the presence of entropy neurons across a range of models, up to 7 billion parameters. On the other hand, token frequency neurons, which we discover and describe here for the first time, boost or suppress each token's logit proportionally to its log frequency, thereby shifting the output distribution towards or away from the unigram distribution. Finally, we present a detailed case study where entropy neurons actively manage confidence in the setting of induction, i.e. detecting and continuing repeated subsequences.