Misurare i Progressi nell'Apprendimento del Dizionario per l'Interpretabilità dei Modelli Linguistici attraverso Modelli di Giochi da Tavolo

Measuring Progress in Dictionary Learning for Language Model Interpretability with Board Game Models

July 31, 2024

Autori: Adam Karvonen, Benjamin Wright, Can Rager, Rico Angell, Jannik Brinkmann, Logan Smith, Claudio Mayrink Verdun, David Bau, Samuel Marks

cs.AI

Abstract

Quali caratteristiche latenti sono codificate nelle rappresentazioni dei modelli linguistici (LM)? Recenti lavori sull'addestramento di autoencoder sparsi (SAE) per separare caratteristiche interpretabili nelle rappresentazioni dei LM hanno mostrato risultati promettenti. Tuttavia, valutare la qualità di questi SAE è difficile perché manca una raccolta di caratteristiche interpretabili di riferimento che ci aspettiamo che i buoni SAE riescano a recuperare. Proponiamo quindi di misurare i progressi nell'apprendimento di dizionari interpretabili lavorando in contesti di LM addestrati su trascrizioni di scacchi e Othello. Questi contesti offrono collezioni naturali di caratteristiche interpretabili — ad esempio, "c'è un cavallo in F3" — che sfruttiamo per creare metriche supervisionate per la qualità dei SAE. Per guidare i progressi nell'apprendimento di dizionari interpretabili, introduciamo una nuova tecnica di addestramento per SAE, il p-annealing, che migliora le prestazioni sia sulle metriche non supervisionate precedenti che sulle nostre nuove metriche.

English

What latent features are encoded in language model (LM) representations? Recent work on training sparse autoencoders (SAEs) to disentangle interpretable features in LM representations has shown significant promise. However, evaluating the quality of these SAEs is difficult because we lack a ground-truth collection of interpretable features that we expect good SAEs to recover. We thus propose to measure progress in interpretable dictionary learning by working in the setting of LMs trained on chess and Othello transcripts. These settings carry natural collections of interpretable features -- for example, "there is a knight on F3" -- which we leverage into supervised metrics for SAE quality. To guide progress in interpretable dictionary learning, we introduce a new SAE training technique, p-annealing, which improves performance on prior unsupervised metrics as well as our new metrics.