Mesure des progrès dans l'apprentissage de dictionnaires pour l'interprétabilité des modèles de langage à l'aide de modèles de jeux de société

Measuring Progress in Dictionary Learning for Language Model Interpretability with Board Game Models

July 31, 2024

Auteurs: Adam Karvonen, Benjamin Wright, Can Rager, Rico Angell, Jannik Brinkmann, Logan Smith, Claudio Mayrink Verdun, David Bau, Samuel Marks

cs.AI

Résumé

Quelles caractéristiques latentes sont encodées dans les représentations des modèles de langage (LM) ? Les travaux récents sur l'entraînement d'autoencodeurs épars (SAEs) pour décomposer des caractéristiques interprétables dans les représentations des LM ont montré un potentiel significatif. Cependant, évaluer la qualité de ces SAEs est difficile car nous manquons d'une collection de référence de caractéristiques interprétables que nous attendons que les bons SAEs puissent retrouver. Nous proposons donc de mesurer les progrès dans l'apprentissage de dictionnaires interprétables en travaillant dans le cadre de LM entraînés sur des transcriptions d'échecs et d'Othello. Ces contextes possèdent des collections naturelles de caractéristiques interprétables -- par exemple, "il y a un cavalier en F3" -- que nous exploitons pour créer des métriques supervisées de qualité des SAEs. Pour guider les progrès dans l'apprentissage de dictionnaires interprétables, nous introduisons une nouvelle technique d'entraînement des SAEs, le p-annealing, qui améliore les performances sur les métriques non supervisées existantes ainsi que sur nos nouvelles métriques.

English

What latent features are encoded in language model (LM) representations? Recent work on training sparse autoencoders (SAEs) to disentangle interpretable features in LM representations has shown significant promise. However, evaluating the quality of these SAEs is difficult because we lack a ground-truth collection of interpretable features that we expect good SAEs to recover. We thus propose to measure progress in interpretable dictionary learning by working in the setting of LMs trained on chess and Othello transcripts. These settings carry natural collections of interpretable features -- for example, "there is a knight on F3" -- which we leverage into supervised metrics for SAE quality. To guide progress in interpretable dictionary learning, we introduce a new SAE training technique, p-annealing, which improves performance on prior unsupervised metrics as well as our new metrics.