Интерпретируемые эмбэддинги с разреженными автоэнкодерами: Инструментарий для анализа данных

Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit

December 10, 2025

Авторы: Nick Jiang, Xiaoqing Sun, Lisa Dunlap, Lewis Smith, Neel Nanda

cs.AI

Аннотация

Анализ крупномасштабных текстовых корпусов представляет собой ключевую задачу в машинном обучении, важную для таких целей, как выявление нежелательного поведения моделей или смещений в обучающих данных. Современные методы часто опираются на дорогостоящие подходы на основе больших языковых моделей (БЯМ) (например, аннотирование различий в наборах данных) или модели плотных векторных представлений (например, для кластеризации), которые не позволяют контролировать целевые свойства. Мы предлагаем использовать разреженные автоэнкодеры (SAE) для создания SAE-эмбеддингов: представлений, размерности которых соответствуют интерпретируемым концептам. На примере четырех задач анализа данных мы демонстрируем, что SAE-эмбеддинги являются более экономичными и надежными по сравнению с БЯМ и обеспечивают лучший контроль, чем плотные эмбеддинги. Используя обширное пространство гипотез SAE, мы можем выявить такие закономерности, как (1) семантические различия между наборами данных и (2) неожиданные корреляции концептов в документах. Например, сравнивая ответы моделей, мы обнаружили, что Grok-4 уточняет неоднозначности чаще, чем девять других передовых моделей. По сравнению с БЯМ, SAE-эмбеддинги выявляют более значительные различия при затратах в 2–8 раз ниже и надежнее определяют смещения. Кроме того, SAE-эмбеддинги управляемы: фильтруя концепты, мы можем (3) кластеризовать документы по интересующим направлениям и (4) превзойти плотные эмбеддинги в поиске на основе свойств. Используя SAE-эмбеддинги, мы исследуем поведение моделей на двух кейсах: изучаем, как менялось поведение моделей OpenAI с течением времени, и находим «триггерные» фразы, усвоенные моделью Tulu-3 (Lambert et al., 2024) из ее обучающих данных. Эти результаты позиционируют SAE как универсальный инструмент для анализа неструктурированных данных и подчеркивают недооцененную важность интерпретации моделей через их данные.

English

Analyzing large-scale text corpora is a core challenge in machine learning, crucial for tasks like identifying undesirable model behaviors or biases in training data. Current methods often rely on costly LLM-based techniques (e.g. annotating dataset differences) or dense embedding models (e.g. for clustering), which lack control over the properties of interest. We propose using sparse autoencoders (SAEs) to create SAE embeddings: representations whose dimensions map to interpretable concepts. Through four data analysis tasks, we show that SAE embeddings are more cost-effective and reliable than LLMs and more controllable than dense embeddings. Using the large hypothesis space of SAEs, we can uncover insights such as (1) semantic differences between datasets and (2) unexpected concept correlations in documents. For instance, by comparing model responses, we find that Grok-4 clarifies ambiguities more often than nine other frontier models. Relative to LLMs, SAE embeddings uncover bigger differences at 2-8x lower cost and identify biases more reliably. Additionally, SAE embeddings are controllable: by filtering concepts, we can (3) cluster documents along axes of interest and (4) outperform dense embeddings on property-based retrieval. Using SAE embeddings, we study model behavior with two case studies: investigating how OpenAI model behavior has changed over time and finding "trigger" phrases learned by Tulu-3 (Lambert et al., 2024) from its training data. These results position SAEs as a versatile tool for unstructured data analysis and highlight the neglected importance of interpreting models through their data.