Ensine Truques de Novos Domínios a SAEs Antigos com Boosting
Teach Old SAEs New Domain Tricks with Boosting
July 17, 2025
Autores: Nikita Koriagin, Yaroslav Aksenov, Daniil Laptev, Gleb Gerasimov, Nikita Balagansky, Daniil Gavrilov
cs.AI
Resumo
Autoencoders Esparsos têm surgido como ferramentas poderosas para interpretar as representações internas de Modelos de Linguagem de Grande Escala, mas frequentemente falham em capturar características específicas de domínio que não são prevalentes em seus corpora de treinamento. Este artigo introduz uma abordagem de aprendizado residual que aborda essa cegueira a características sem exigir um retreinamento completo. Propomos treinar um SAE secundário especificamente para modelar o erro de reconstrução de um SAE pré-treinado em textos específicos de domínio, capturando efetivamente as características perdidas pelo modelo primário. Ao somar as saídas de ambos os modelos durante a inferência, demonstramos melhorias significativas tanto na entropia cruzada do LLM quanto nas métricas de variância explicada em vários domínios especializados. Nossos experimentos mostram que esse método incorpora eficientemente novos conhecimentos de domínio em SAEs existentes, mantendo seu desempenho em tarefas gerais. Essa abordagem permite que os pesquisadores aprimorem seletivamente a interpretabilidade dos SAEs para domínios específicos de interesse, abrindo novas possibilidades para a interpretabilidade mecanicista direcionada de LLMs.
English
Sparse Autoencoders have emerged as powerful tools for interpreting the
internal representations of Large Language Models, yet they often fail to
capture domain-specific features not prevalent in their training corpora. This
paper introduces a residual learning approach that addresses this feature
blindness without requiring complete retraining. We propose training a
secondary SAE specifically to model the reconstruction error of a pretrained
SAE on domain-specific texts, effectively capturing features missed by the
primary model. By summing the outputs of both models during inference, we
demonstrate significant improvements in both LLM cross-entropy and explained
variance metrics across multiple specialized domains. Our experiments show that
this method efficiently incorporates new domain knowledge into existing SAEs
while maintaining their performance on general tasks. This approach enables
researchers to selectively enhance SAE interpretability for specific domains of
interest, opening new possibilities for targeted mechanistic interpretability
of LLMs.