Где возникает сигнал авторства в энкодерных языковых моделях?

Аннотация

Модели атрибуции авторства, дообученные на одном и том же предобученном энкодере, данных и функции потерь, могут различаться по производительности в четыре раза в зависимости только от их механизма оценки. Мы используем инструменты механистической интерпретируемости для объяснения этого разрыва. Стилистические признаки, такие как длина слов, плотность пунктуации и частота служебных слов, одинаково доступны на каждом слое в каждой модели, включая стандартный контрольный энкодер, следовательно, разрыв не обусловлен качеством представлений. Вместо этого причинное вмешательство показывает, что оценщик определяет, на каком уровне энкодер консолидирует сигнал авторства. Усредняющий пулинг заставляет консолидацию происходить на ранних и средних слоях, тогда как позднее взаимодействие откладывает ее на более поздние слои. Мы также выводим это различие из градиентной структуры каждого оценщика, а динамика обучения выявляет различные траектории обучения, следующие из этого различия.

English

Authorship attribution models fine-tuned with the same pretrained encoder, data, and loss can differ four-fold in performance depending only on their scoring mechanism. We use mechanistic interpretability tools to explain this gap. Stylistic features such as word length, punctuation density, and function-word frequency are equally available at every layer in every model, including in an off-the-shelf control encoder, hence the gap not coming from representation quality. Instead, causal intervention shows that the scorer determines where the encoder consolidates authorship signal. Mean pooling forces consolidation by early to mid layers, while late interaction defers it to later layers. We further derive this difference from the gradient structure of each scorer, and training dynamics reveal distinct learning trajectories that follow from that difference.