Embedding Interpretabili con Autoencoder Sparse: Un Toolkit per l'Analisi dei Dati

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit

December 10, 2025

Autori: Nick Jiang, Xiaoqing Sun, Lisa Dunlap, Lewis Smith, Neel Nanda

cs.AI

Abstract

L'analisi di corpora testuali su larga scala rappresenta una sfida centrale nell'apprendimento automatico, cruciale per compiti come l'identificazione di comportamenti indesiderati dei modelli o di bias nei dati di addestramento. I metodi attuali si basano spesso su tecniche costose basate su LLM (ad esempio, l'annotazione delle differenze tra dataset) o su modelli di embedding densi (ad esempio, per il clustering), che non consentono un controllo sulle proprietà di interesse. Proponiamo l'uso di autoencoder sparsi (SAE) per creare SAE embedding: rappresentazioni le cui dimensioni mappano concetti interpretabili. Attraverso quattro compiti di analisi dei dati, dimostriamo che gli SAE embedding sono più convenienti e affidabili degli LLM e più controllabili degli embedding densi. Sfruttando il grande spazio delle ipotesi degli SAE, possiamo scoprire insight come (1) differenze semantiche tra dataset e (2) correlazioni inaspettate tra concetti nei documenti. Ad esempio, confrontando le risposte dei modelli, scopriamo che Grok-4 chiarisce le ambiguità più spesso di altri nove modelli all'avanguardia. Rispetto agli LLM, gli SAE embedding rilevano differenze più ampie con un costo inferiore di 2-8x e identificano i bias in modo più affidabile. Inoltre, gli SAE embedding sono controllabili: filtrando i concetti, possiamo (3) raggruppare i documenti lungo assi di interesse e (4) superare gli embedding densi nel retrieval basato su proprietà. Utilizzando gli SAE embedding, studiamo il comportamento del modello con due case study: investigando come il comportamento dei modelli OpenAI sia cambiato nel tempo e individuando frasi "trigger" apprese da Tulu-3 (Lambert et al., 2024) dai suoi dati di addestramento. Questi risultati posizionano gli SAE come uno strumento versatile per l'analisi di dati non strutturati e sottolineano l'importanza trascurata di interpretare i modelli attraverso i loro dati.

English

Analyzing large-scale text corpora is a core challenge in machine learning, crucial for tasks like identifying undesirable model behaviors or biases in training data. Current methods often rely on costly LLM-based techniques (e.g. annotating dataset differences) or dense embedding models (e.g. for clustering), which lack control over the properties of interest. We propose using sparse autoencoders (SAEs) to create SAE embeddings: representations whose dimensions map to interpretable concepts. Through four data analysis tasks, we show that SAE embeddings are more cost-effective and reliable than LLMs and more controllable than dense embeddings. Using the large hypothesis space of SAEs, we can uncover insights such as (1) semantic differences between datasets and (2) unexpected concept correlations in documents. For instance, by comparing model responses, we find that Grok-4 clarifies ambiguities more often than nine other frontier models. Relative to LLMs, SAE embeddings uncover bigger differences at 2-8x lower cost and identify biases more reliably. Additionally, SAE embeddings are controllable: by filtering concepts, we can (3) cluster documents along axes of interest and (4) outperform dense embeddings on property-based retrieval. Using SAE embeddings, we study model behavior with two case studies: investigating how OpenAI model behavior has changed over time and finding "trigger" phrases learned by Tulu-3 (Lambert et al., 2024) from its training data. These results position SAEs as a versatile tool for unstructured data analysis and highlight the neglected importance of interpreting models through their data.