Нейроны регулирования уверенности в языковых моделях

Confidence Regulation Neurons in Language Models

June 24, 2024

Авторы: Alessandro Stolfo, Ben Wu, Wes Gurnee, Yonatan Belinkov, Xingyi Song, Mrinmaya Sachan, Neel Nanda

cs.AI

Аннотация

Несмотря на широкое использование, механизмы, с помощью которых большие языковые модели (LLM) представляют и регулируют неопределенность в прогнозах следующего токена, остаются в значительной степени неизученными. В данном исследовании исследуются два критических компонента, которые, как считается, влияют на эту неопределенность: недавно обнаруженные нейроны энтропии и новый набор компонентов, которые мы называем нейронами частоты токенов. Нейроны энтропии характеризуются необычайно высокой нормой веса и влияют на масштабирование окончательной нормализации слоя (LayerNorm), чтобы эффективно уменьшить логиты. Наша работа показывает, что нейроны энтропии действуют, записываясь на невстраиваемое нулевое пространство, что позволяет им воздействовать на норму остаточного потока с минимальным прямым воздействием на сами логиты. Мы наблюдаем присутствие нейронов энтропии в различных моделях, вплоть до 7 миллиардов параметров. С другой стороны, нейроны частоты токенов, которые мы обнаруживаем и описываем здесь впервые, увеличивают или подавляют логит каждого токена пропорционально его логарифмической частоте, тем самым сдвигая распределение вывода к или от униграммного распределения. Наконец, мы представляем подробное кейс-исследование, в котором нейроны энтропии активно управляют уверенностью в условиях индукции, то есть обнаружения и продолжения повторяющихся подпоследовательностей.

English

Despite their widespread use, the mechanisms by which large language models (LLMs) represent and regulate uncertainty in next-token predictions remain largely unexplored. This study investigates two critical components believed to influence this uncertainty: the recently discovered entropy neurons and a new set of components that we term token frequency neurons. Entropy neurons are characterized by an unusually high weight norm and influence the final layer normalization (LayerNorm) scale to effectively scale down the logits. Our work shows that entropy neurons operate by writing onto an unembedding null space, allowing them to impact the residual stream norm with minimal direct effect on the logits themselves. We observe the presence of entropy neurons across a range of models, up to 7 billion parameters. On the other hand, token frequency neurons, which we discover and describe here for the first time, boost or suppress each token's logit proportionally to its log frequency, thereby shifting the output distribution towards or away from the unigram distribution. Finally, we present a detailed case study where entropy neurons actively manage confidence in the setting of induction, i.e. detecting and continuing repeated subsequences.