Insegna ai Vecchi SAE Nuovi Trucchi di Dominio con il Boosting

Teach Old SAEs New Domain Tricks with Boosting

July 17, 2025

Autori: Nikita Koriagin, Yaroslav Aksenov, Daniil Laptev, Gleb Gerasimov, Nikita Balagansky, Daniil Gavrilov

cs.AI

Abstract

Gli Autoencoder Sparse (SAE) si sono affermati come strumenti potenti per interpretare le rappresentazioni interne dei Large Language Model (LLM), ma spesso non riescono a catturare caratteristiche specifiche di un dominio che non sono prevalenti nei loro corpora di addestramento. Questo articolo introduce un approccio di apprendimento residuo che affronta questa cecità alle caratteristiche senza richiedere un completo riaddestramento. Proponiamo di addestrare un SAE secondario specificamente per modellare l'errore di ricostruzione di un SAE preaddestrato su testi specifici di un dominio, catturando efficacemente le caratteristiche mancate dal modello primario. Sommando gli output di entrambi i modelli durante l'inferenza, dimostriamo miglioramenti significativi sia nell'entropia incrociata dei LLM che nelle metriche di varianza spiegata attraverso più domini specializzati. I nostri esperimenti mostrano che questo metodo incorpora in modo efficiente nuove conoscenze di dominio negli SAE esistenti, mantenendo le loro prestazioni su compiti generali. Questo approccio consente ai ricercatori di migliorare selettivamente l'interpretabilità degli SAE per specifici domini di interesse, aprendo nuove possibilità per un'interpretabilità meccanicistica mirata dei LLM.

English

Sparse Autoencoders have emerged as powerful tools for interpreting the internal representations of Large Language Models, yet they often fail to capture domain-specific features not prevalent in their training corpora. This paper introduces a residual learning approach that addresses this feature blindness without requiring complete retraining. We propose training a secondary SAE specifically to model the reconstruction error of a pretrained SAE on domain-specific texts, effectively capturing features missed by the primary model. By summing the outputs of both models during inference, we demonstrate significant improvements in both LLM cross-entropy and explained variance metrics across multiple specialized domains. Our experiments show that this method efficiently incorporates new domain knowledge into existing SAEs while maintaining their performance on general tasks. This approach enables researchers to selectively enhance SAE interpretability for specific domains of interest, opening new possibilities for targeted mechanistic interpretability of LLMs.