Embeddings Interpretables con Autoencoders Dispersos: Un Kit de Herramientas para Análisis de Datos

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit

December 10, 2025

Autores: Nick Jiang, Xiaoqing Sun, Lisa Dunlap, Lewis Smith, Neel Nanda

cs.AI

Resumen

El análisis de corpus textuales a gran escala es un desafío fundamental en el aprendizaje automático, crucial para tareas como identificar comportamientos no deseados en los modelos o sesgos en los datos de entrenamiento. Los métodos actuales a menudo dependen de técnicas costosas basadas en LLM (por ejemplo, anotar diferencias en conjuntos de datos) o modelos de embeddings densos (por ejemplo, para clustering), que carecen de control sobre las propiedades de interés. Proponemos el uso de autoencoders dispersos (SAEs) para crear *SAE embeddings*: representaciones cuyas dimensiones se asignan a conceptos interpretables. Mediante cuatro tareas de análisis de datos, demostramos que los SAE embeddings son más rentables y confiables que los LLM y más controlables que los embeddings densos. Utilizando el amplio espacio de hipótesis de los SAEs, podemos descubrir hallazgos como (1) diferencias semánticas entre conjuntos de datos y (2) correlaciones inesperadas de conceptos en documentos. Por ejemplo, al comparar respuestas de modelos, encontramos que Grok-4 aclara ambigüedades con más frecuencia que otros nueve modelos de vanguardia. En relación con los LLM, los SAE embeddings descubren diferencias mayores con un coste 2-8 veces menor e identifican sesgos de manera más fiable. Además, los SAE embeddings son controlables: filtrando conceptos, podemos (3) agrupar documentos según ejes de interés y (4) superar a los embeddings densos en la recuperación basada en propiedades. Utilizando SAE embeddings, estudiamos el comportamiento del modelo con dos casos de estudio: investigando cómo ha cambiado el comportamiento de los modelos de OpenAI a lo largo del tiempo y encontrando frases "desencadenantes" aprendidas por Tulu-3 (Lambert et al., 2024) a partir de sus datos de entrenamiento. Estos resultados posicionan a los SAEs como una herramienta versátil para el análisis de datos no estructurados y destacan la importancia descuidada de interpretar los modelos a través de sus datos.

English

Analyzing large-scale text corpora is a core challenge in machine learning, crucial for tasks like identifying undesirable model behaviors or biases in training data. Current methods often rely on costly LLM-based techniques (e.g. annotating dataset differences) or dense embedding models (e.g. for clustering), which lack control over the properties of interest. We propose using sparse autoencoders (SAEs) to create SAE embeddings: representations whose dimensions map to interpretable concepts. Through four data analysis tasks, we show that SAE embeddings are more cost-effective and reliable than LLMs and more controllable than dense embeddings. Using the large hypothesis space of SAEs, we can uncover insights such as (1) semantic differences between datasets and (2) unexpected concept correlations in documents. For instance, by comparing model responses, we find that Grok-4 clarifies ambiguities more often than nine other frontier models. Relative to LLMs, SAE embeddings uncover bigger differences at 2-8x lower cost and identify biases more reliably. Additionally, SAE embeddings are controllable: by filtering concepts, we can (3) cluster documents along axes of interest and (4) outperform dense embeddings on property-based retrieval. Using SAE embeddings, we study model behavior with two case studies: investigating how OpenAI model behavior has changed over time and finding "trigger" phrases learned by Tulu-3 (Lambert et al., 2024) from its training data. These results position SAEs as a versatile tool for unstructured data analysis and highlight the neglected importance of interpreting models through their data.