早期に符号化され、遅れて利用される：Transformerは推論されたパートナーの専門性にどこで基づいて行動し始めるのか

要旨

Transformerは、ある属性がまだ出力に影響を与えていない深さにおいて、その属性を残差ストリーム内で線形にデコード可能にすることができる。情報が読み取れる場所とそれが使用される場所との間のこのギャップは、入力内で直接述べられた属性について示されている。我々は、それが、モデルが会話を通じて徐々に推論しなければならない属性、すなわち対話相手がどれほど専門的であるかについても成り立つかを問う。4つの専門性レベルでモデルが演じるペルソナ間のマルチターン研究計画対話のコーパスであるExpertCollabを用いて、相手の専門性は初期層で最もデコード可能であり、ネットワークの中間点より前にほぼチャンスレベルまで低下することを見いだす。反事実パッチングは、デコード可能性がピークとなる層に専門性の差を注入しても固定された後半層の読み出しをほとんど変化させない一方、中間点より後に同じ差を注入するとほぼ完全に伝播することを示し、その差は1桁を超える。内容を一致させたランダム対照とプローブ不要の診断は、その遷移を同じ初期層に位置づけ、静的に指定された対照属性は全体を通じてデコード可能なままである。したがって、推論された関係的属性は、因果的に活性になるよりずっと前に表現されており、このことは、対話相手に条件付けられた振る舞いを読み出したり誘導しようとするいかなる試みもどこに介入しなければならないかを制約する。我々は合成コーパス上の1つのモデルを初期実証として用いる。

English

A transformer can make an attribute linearly decodable in its residual stream at a depth where that attribute does not yet influence the output. This gap between where information is readable and where it is used has been shown for attributes stated directly in the input. We ask whether it also holds for an attribute the model must infer gradually over a conversation, namely how expert its dialogue partner is. Using ExpertCollab, a corpus of multi-turn research-planning dialogues between model-played personas at four expertise levels, we find that partner expertise is most decodable in the early layers and falls to near chance before the midpoint of the network. Counterfactual patching shows that injecting the expertise difference at the layer of peak decodability barely changes a fixed late-layer readout, whereas the same difference injected past the midpoint propagates almost completely, a separation of more than an order of magnitude. A content-matched random control and a probe-free diagnostic place the transition at the same early layer, and a statically specified control attribute stays decodable throughout. An inferred relational attribute is therefore represented well before it becomes causally active, which bounds where any attempt to read out or steer partner-conditioned behavior must intervene. We use one model on a synthetic corpus as an initial demonstration.