Medición del Progreso en el Aprendizaje de Diccionarios para la Interpretabilidad de Modelos de Lenguaje con Modelos de Juegos de Mesa

Measuring Progress in Dictionary Learning for Language Model Interpretability with Board Game Models

July 31, 2024

Autores: Adam Karvonen, Benjamin Wright, Can Rager, Rico Angell, Jannik Brinkmann, Logan Smith, Claudio Mayrink Verdun, David Bau, Samuel Marks

cs.AI

Resumen

¿Qué características latentes están codificadas en las representaciones del modelo de lenguaje (LM)? Trabajos recientes sobre el entrenamiento de autoencoders dispersos (SAEs) para desentrañar características interpretables en las representaciones de LM han mostrado un gran potencial. Sin embargo, evaluar la calidad de estos SAEs es difícil porque carecemos de una colección de características interpretables de referencia que esperamos que los buenos SAEs recuperen. Por lo tanto, proponemos medir el progreso en el aprendizaje de diccionarios interpretables trabajando en el entorno de LMs entrenados en transcripciones de ajedrez y Othello. Estos entornos contienen colecciones naturales de características interpretables, por ejemplo, "hay un caballo en F3", las cuales aprovechamos para crear métricas supervisadas de calidad de SAE. Para guiar el progreso en el aprendizaje de diccionarios interpretables, presentamos una nueva técnica de entrenamiento de SAE, el p-annealing, que mejora el rendimiento en métricas no supervisadas anteriores, así como en nuestras nuevas métricas.

English

What latent features are encoded in language model (LM) representations? Recent work on training sparse autoencoders (SAEs) to disentangle interpretable features in LM representations has shown significant promise. However, evaluating the quality of these SAEs is difficult because we lack a ground-truth collection of interpretable features that we expect good SAEs to recover. We thus propose to measure progress in interpretable dictionary learning by working in the setting of LMs trained on chess and Othello transcripts. These settings carry natural collections of interpretable features -- for example, "there is a knight on F3" -- which we leverage into supervised metrics for SAE quality. To guide progress in interpretable dictionary learning, we introduce a new SAE training technique, p-annealing, which improves performance on prior unsupervised metrics as well as our new metrics.