Het meten van vooruitgang in woordenboeksleren voor de interpreteerbaarheid van taalmodel met bordspelmodellen

Measuring Progress in Dictionary Learning for Language Model Interpretability with Board Game Models

July 31, 2024

Auteurs: Adam Karvonen, Benjamin Wright, Can Rager, Rico Angell, Jannik Brinkmann, Logan Smith, Claudio Mayrink Verdun, David Bau, Samuel Marks

cs.AI

Samenvatting

Welke latente kenmerken zijn gecodeerd in taalmodel (LM) representaties? Recent onderzoek naar het trainen van sparse autoencoders (SAEs) om interpreteerbare kenmerken in LM-representaties te ontwarren, heeft veelbelovende resultaten opgeleverd. Het evalueren van de kwaliteit van deze SAEs is echter moeilijk omdat we geen grondwaarheid hebben van interpreteerbare kenmerken die goede SAEs naar verwachting zouden moeten herstellen. Daarom stellen we voor om de voortgang in interpreteerbaar woordenboekleren te meten door te werken in de context van LM's die getraind zijn op schaak- en Othello-transcripties. Deze contexten bieden natuurlijke verzamelingen van interpreteerbare kenmerken – bijvoorbeeld "er staat een paard op F3" – die we gebruiken om begeleide metrieken voor SAE-kwaliteit te ontwikkelen. Om de voortgang in interpreteerbaar woordenboekleren te sturen, introduceren we een nieuwe SAE-trainingsmethode, p-annealing, die de prestaties verbetert op zowel eerder gebruikte onbegeleide metrieken als onze nieuwe metrieken.

English

What latent features are encoded in language model (LM) representations? Recent work on training sparse autoencoders (SAEs) to disentangle interpretable features in LM representations has shown significant promise. However, evaluating the quality of these SAEs is difficult because we lack a ground-truth collection of interpretable features that we expect good SAEs to recover. We thus propose to measure progress in interpretable dictionary learning by working in the setting of LMs trained on chess and Othello transcripts. These settings carry natural collections of interpretable features -- for example, "there is a knight on F3" -- which we leverage into supervised metrics for SAE quality. To guide progress in interpretable dictionary learning, we introduce a new SAE training technique, p-annealing, which improves performance on prior unsupervised metrics as well as our new metrics.