Обучите старые SAE новым трюкам в новых доменах с помощью бустинга

Teach Old SAEs New Domain Tricks with Boosting

July 17, 2025

Авторы: Nikita Koriagin, Yaroslav Aksenov, Daniil Laptev, Gleb Gerasimov, Nikita Balagansky, Daniil Gavrilov

cs.AI

Аннотация

Разреженные автоэнкодеры (Sparse Autoencoders, SAE) стали мощным инструментом для интерпретации внутренних представлений больших языковых моделей (Large Language Models, LLM), однако они часто не способны улавливать специфические для домена признаки, которые не преобладают в их обучающих корпусах. В данной работе представлен подход, основанный на остаточном обучении, который устраняет эту "слепоту" к признакам без необходимости полного переобучения. Мы предлагаем обучать вторичный SAE специально для моделирования ошибки реконструкции предварительно обученного SAE на текстах, специфичных для домена, что позволяет эффективно захватывать признаки, упущенные основной моделью. Суммируя выходы обеих моделей на этапе вывода, мы демонстрируем значительное улучшение как кросс-энтропии LLM, так и метрик объяснённой дисперсии в нескольких специализированных доменах. Наши эксперименты показывают, что этот метод эффективно интегрирует новые знания о домене в существующие SAE, сохраняя при этом их производительность на общих задачах. Такой подход позволяет исследователям избирательно повышать интерпретируемость SAE для конкретных интересующих доменов, открывая новые возможности для целенаправленной механистической интерпретируемости LLM.

English

Sparse Autoencoders have emerged as powerful tools for interpreting the internal representations of Large Language Models, yet they often fail to capture domain-specific features not prevalent in their training corpora. This paper introduces a residual learning approach that addresses this feature blindness without requiring complete retraining. We propose training a secondary SAE specifically to model the reconstruction error of a pretrained SAE on domain-specific texts, effectively capturing features missed by the primary model. By summing the outputs of both models during inference, we demonstrate significant improvements in both LLM cross-entropy and explained variance metrics across multiple specialized domains. Our experiments show that this method efficiently incorporates new domain knowledge into existing SAEs while maintaining their performance on general tasks. This approach enables researchers to selectively enhance SAE interpretability for specific domains of interest, opening new possibilities for targeted mechanistic interpretability of LLMs.