Onde o sinal de autoria emerge em modelos de linguagem baseados em encoder?

Resumo

Modelos de atribuição de autoria ajustados com o mesmo codificador pré-treinado, dados e perda podem apresentar uma diferença de até quatro vezes no desempenho, dependendo exclusivamente do mecanismo de pontuação. Utilizamos ferramentas de interpretabilidade mecânica para explicar essa lacuna. Características estilísticas, como comprimento das palavras, densidade de pontuação e frequência de palavras funcionais, estão igualmente disponíveis em todas as camadas de cada modelo, inclusive em um codificador de controle pronto para uso; portanto, a lacuna não decorre da qualidade da representação. Em vez disso, a intervenção causal mostra que o pontuador determina onde o codificador consolida o sinal de autoria. O pooling médio força a consolidação nas camadas iniciais a intermediárias, enquanto a interação tardia a adia para camadas posteriores. Além disso, derivamos essa diferença da estrutura do gradiente de cada pontuador, e a dinâmica de treinamento revela trajetórias de aprendizado distintas que decorrem dessa diferença.

English

Authorship attribution models fine-tuned with the same pretrained encoder, data, and loss can differ four-fold in performance depending only on their scoring mechanism. We use mechanistic interpretability tools to explain this gap. Stylistic features such as word length, punctuation density, and function-word frequency are equally available at every layer in every model, including in an off-the-shelf control encoder, hence the gap not coming from representation quality. Instead, causal intervention shows that the scorer determines where the encoder consolidates authorship signal. Mean pooling forces consolidation by early to mid layers, while late interaction defers it to later layers. We further derive this difference from the gradient structure of each scorer, and training dynamics reveal distinct learning trajectories that follow from that difference.