Interpreteerbare Embeddings met Sparse Autoencoders: Een Data-analyse Toolkit

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit

December 10, 2025

Auteurs: Nick Jiang, Xiaoqing Sun, Lisa Dunlap, Lewis Smith, Neel Nanda

cs.AI

Samenvatting

Het analyseren van grootschalige tekstcorpora vormt een centrale uitdaging in machine learning, cruciaal voor taken zoals het identificeren van ongewenste modelgedragingen of biases in trainingsdata. Bestaande methoden steunen vaak op kostentechniek veeleisende, op grote taalmodellen (LLM's) gebaseerde technieken (bijv. het annoteren van datasetverschillen) of op dense embedding-modellen (bijv. voor clustering), waarbij de controle over de gewenste eigenschappen ontbreekt. Wij stellen voor om sparse autoencoders (SAE's) te gebruiken om SAE-embeddings te creëren: representaties waarvan de dimensies corresponderen met interpreteerbare concepten. Aan de hand van vier data-analysetaken tonen we aan dat SAE-embeddings kosteneffectiever en betrouwbaarder zijn dan LLM's en meer controleerbaar dan dense embeddings. Door gebruik te maken van de grote hypothese-ruimte van SAE's kunnen we inzichten blootleggen zoals (1) semantische verschillen tussen datasets en (2) onverwachte conceptcorrelaties in documenten. Zo vinden we bijvoorbeeld, door modelresponsen te vergelijken, dat Grok-4 vaker ambiguïteiten verduidelijkt dan negen andere frontier-modellen. In vergelijking met LLM's leggen SAE-embeddings grotere verschillen bloot tegen 2-8x lagere kosten en identificeren ze biases betrouwbaarder. Bovendien zijn SAE-embeddings controleerbaar: door concepten te filteren kunnen we (3) documenten clusteren langs assen van interesse en (4) dense embeddings overtreffen bij retrieval op basis van eigenschappen. Met behulp van SAE-embeddings bestuderen we modelgedrag aan de hand van twee casestudies: we onderzoeken hoe het gedrag van OpenAI-modellen in de loop der tijd is veranderd en vinden "trigger"-zinnen die zijn aangeleerd door Tulu-3 (Lambert et al., 2024) vanuit zijn trainingsdata. Deze resultaten positioneren SAE's als een veelzijdig hulpmiddel voor de analyse van ongestructureerde data en benadrukken het onderbelichte belang van het interpreteren van modellen via hun data.

English

Analyzing large-scale text corpora is a core challenge in machine learning, crucial for tasks like identifying undesirable model behaviors or biases in training data. Current methods often rely on costly LLM-based techniques (e.g. annotating dataset differences) or dense embedding models (e.g. for clustering), which lack control over the properties of interest. We propose using sparse autoencoders (SAEs) to create SAE embeddings: representations whose dimensions map to interpretable concepts. Through four data analysis tasks, we show that SAE embeddings are more cost-effective and reliable than LLMs and more controllable than dense embeddings. Using the large hypothesis space of SAEs, we can uncover insights such as (1) semantic differences between datasets and (2) unexpected concept correlations in documents. For instance, by comparing model responses, we find that Grok-4 clarifies ambiguities more often than nine other frontier models. Relative to LLMs, SAE embeddings uncover bigger differences at 2-8x lower cost and identify biases more reliably. Additionally, SAE embeddings are controllable: by filtering concepts, we can (3) cluster documents along axes of interest and (4) outperform dense embeddings on property-based retrieval. Using SAE embeddings, we study model behavior with two case studies: investigating how OpenAI model behavior has changed over time and finding "trigger" phrases learned by Tulu-3 (Lambert et al., 2024) from its training data. These results position SAEs as a versatile tool for unstructured data analysis and highlight the neglected importance of interpreting models through their data.