言語モデルにおける信頼度調整ニューロン

Confidence Regulation Neurons in Language Models

June 24, 2024

著者: Alessandro Stolfo, Ben Wu, Wes Gurnee, Yonatan Belinkov, Xingyi Song, Mrinmaya Sachan, Neel Nanda

cs.AI

要旨

大規模言語モデル（LLMs）が広く使用されているにもかかわらず、次のトークン予測における不確実性をどのように表現し、制御しているかのメカニズムは、ほとんど解明されていない。本研究では、この不確実性に影響を与えると考えられる2つの重要な要素を調査する。1つは最近発見されたエントロピーニューロン、もう1つは我々がトークン頻度ニューロンと名付けた新しい一連の要素である。エントロピーニューロンは、異常に高い重みノルムを特徴とし、最終層の正規化（LayerNorm）スケールに影響を与えてロジットを効果的にスケールダウンさせる。我々の研究では、エントロピーニューロンがアンベッディングのヌル空間に書き込むことで動作し、ロジット自体に直接的な影響を最小限に抑えつつ、残差ストリームのノルムに影響を与えることを示している。我々は、最大70億パラメータまでの様々なモデルにおいてエントロピーニューロンの存在を確認した。一方、本研究で初めて発見し記述したトークン頻度ニューロンは、各トークンのロジットをその対数頻度に比例して増幅または抑制し、出力分布をユニグラム分布に向かわせたり遠ざけたりする。最後に、エントロピーニューロンが帰納的設定（すなわち、繰り返される部分列を検出し続けること）において信頼度を積極的に管理する詳細なケーススタディを提示する。

English

Despite their widespread use, the mechanisms by which large language models (LLMs) represent and regulate uncertainty in next-token predictions remain largely unexplored. This study investigates two critical components believed to influence this uncertainty: the recently discovered entropy neurons and a new set of components that we term token frequency neurons. Entropy neurons are characterized by an unusually high weight norm and influence the final layer normalization (LayerNorm) scale to effectively scale down the logits. Our work shows that entropy neurons operate by writing onto an unembedding null space, allowing them to impact the residual stream norm with minimal direct effect on the logits themselves. We observe the presence of entropy neurons across a range of models, up to 7 billion parameters. On the other hand, token frequency neurons, which we discover and describe here for the first time, boost or suppress each token's logit proportionally to its log frequency, thereby shifting the output distribution towards or away from the unigram distribution. Finally, we present a detailed case study where entropy neurons actively manage confidence in the setting of induction, i.e. detecting and continuing repeated subsequences.