Medindo o Progresso na Aprendizagem de Dicionário para Modelos de Linguagem com Interpretabilidade usando Modelos de Jogos de Tabuleiro

Measuring Progress in Dictionary Learning for Language Model Interpretability with Board Game Models

July 31, 2024

Autores: Adam Karvonen, Benjamin Wright, Can Rager, Rico Angell, Jannik Brinkmann, Logan Smith, Claudio Mayrink Verdun, David Bau, Samuel Marks

cs.AI

Resumo

Quais características latentes são codificadas nas representações do modelo de linguagem (LM)? Trabalhos recentes sobre treinamento de autoencoders esparsos (SAEs) para desembaraçar características interpretáveis nas representações do LM têm mostrado promessa significativa. No entanto, avaliar a qualidade desses SAEs é difícil porque nos falta uma coleção de referência de características interpretáveis que esperamos que bons SAEs recuperem. Propomos, portanto, medir o progresso na aprendizagem de dicionário interpretável trabalhando no contexto de LMs treinados em transcrições de xadrez e Othello. Esses contextos possuem coleções naturais de características interpretáveis -- por exemplo, "há um cavalo em F3" -- que aproveitamos em métricas supervisionadas para qualidade de SAE. Para orientar o progresso na aprendizagem de dicionário interpretável, introduzimos uma nova técnica de treinamento de SAE, p-annealing, que melhora o desempenho em métricas não supervisionadas anteriores, bem como em nossas novas métricas.

English

What latent features are encoded in language model (LM) representations? Recent work on training sparse autoencoders (SAEs) to disentangle interpretable features in LM representations has shown significant promise. However, evaluating the quality of these SAEs is difficult because we lack a ground-truth collection of interpretable features that we expect good SAEs to recover. We thus propose to measure progress in interpretable dictionary learning by working in the setting of LMs trained on chess and Othello transcripts. These settings carry natural collections of interpretable features -- for example, "there is a knight on F3" -- which we leverage into supervised metrics for SAE quality. To guide progress in interpretable dictionary learning, we introduce a new SAE training technique, p-annealing, which improves performance on prior unsupervised metrics as well as our new metrics.