スパース読み出しプリズム：トークンではなく特徴量でロジットレンズスコアを説明する

要旨

言語モデルによる次トークンの予測は、層を経るごとに形成されていく。レンズ手法は、中間の隠れ状態をトークンへデコードすることでこの過程を追跡する。しかし、レンズによる読み取りは、隠れ状態そのものと、その隠れ状態をデコードする際に用いられる読み出し（アンエンベディング行列）の両方を反映している。多くのレンズはコーパス上でフィッティングされる。我々は、フィッティングに用いるコーパスだけが異なる2つのレンズが、同じ隠れ状態に対して異なるトークンを報告し得ることを示す。この依存性を、我々はコーパス条件性（corpus conditionality）と呼ぶ。フィッティングコーパスから独立に読み出し構造を調べるために、Sparse Readout Prism（SRP）を導入する。SRPは、読み出し行列をその重みのみで分解し、任意のトークンロジットまたはロジット差を、スパースな読み出し特徴量による寄与の和として表現する。これにより、読み出し特徴量は、レンズによる読み取りの新たな分析単位となり、トークンの種類が覆い隠し得る構造を明らかにし、トークン、文脈、層、レンズを横断する比較を可能にする。元の読み出し行列をSRPのスパース近似で置き換えると、テストしたロジット差のうち再構成される割合は、読み出し行列の行間の幾何学的関係に基づく6つのベースライン中で最良のものより8.9〜17.3パーセントポイント高くなる。特徴量をアブレーションすると、ロジット差は当該特徴量のSRP寄与に比例して変化する。トークン単位の読み取りはフィッティングコーパスに応じて変動するが、支配的な読み出し特徴量は安定している。SRPはその構築にコーパスを用いないため、フィッティングコーパスとは独立した対照をレンズ解析に提供する。

English

A language model's prediction of its next token develops across layers, and lens methods track this process by decoding intermediate hidden states into tokens. But a lens reading reflects both the hidden state and the readout (the unembedding matrix) used to decode it. Many lenses are fit on a corpus, and we show that two lenses differing only in their fitting corpus can report different tokens for the same hidden states. We call this dependence corpus conditionality. To examine readout structure independently of the fitting corpus, we introduce Sparse Readout Prism (SRP), which decomposes the readout using only its weights and expresses any token logit or logit difference as a sum of contributions from sparse readout features. This reveals readout features as a new unit of analysis for lens readings, exposing structure that token identities can obscure and enabling comparisons across tokens, contexts, layers, and lenses. Replacing the original readout with SRP's sparse approximation reconstructs 8.9-17.3 percentage points more of the tested logit differences than the strongest of six baselines built on geometric relations among readout rows. Ablating features shifts logit differences in proportion to their SRP contributions. Although token readings vary with the fitting corpus, the dominant readout feature remains stable. Because SRP uses no corpus in its construction, it provides a control independent of the fitting corpus for lens analyses.