Waar ontstaat het auteurschapssignaal in encoder-gebaseerde taalmodellen?

Samenvatting

Modellen voor auteurschapstoewijzing die met dezelfde voorgetrainde encoder, data en verliesfunctie fijn zijn afgesteld, kunnen tot een viervoudig verschil in prestaties vertonen, uitsluitend afhankelijk van hun scoringsmechanisme. We gebruiken mechanistische interpreteerbaarheidstools om dit verschil te verklaren. Stilistische kenmerken zoals woordlengte, interpunctiedichtheid en functiewoordfrequentie zijn in elk model op elke laag even beschikbaar, ook in een kant-en-klare controle-encoder, dus het verschil komt niet door de representatiekwaliteit. In plaats daarvan toont causale interventie aan dat de scorer bepaalt waar de encoder het auteurschapssignaal consolideert. Gemiddelde pooling dwingt consolidatie af in de vroege tot middelste lagen, terwijl late interactie dit uitstelt naar latere lagen. We leiden dit verschil verder af uit de gradientstructuur van elke scorer, en de trainingsdynamica onthult verschillende leertrajecten die uit dat verschil voortvloeien.

English

Authorship attribution models fine-tuned with the same pretrained encoder, data, and loss can differ four-fold in performance depending only on their scoring mechanism. We use mechanistic interpretability tools to explain this gap. Stylistic features such as word length, punctuation density, and function-word frequency are equally available at every layer in every model, including in an off-the-shelf control encoder, hence the gap not coming from representation quality. Instead, causal intervention shows that the scorer determines where the encoder consolidates authorship signal. Mean pooling forces consolidation by early to mid layers, while late interaction defers it to later layers. We further derive this difference from the gradient structure of each scorer, and training dynamics reveal distinct learning trajectories that follow from that difference.