Rumo à Compreensão da Robustez de Autoencoders Esparsos

Resumo

Modelos de Linguagem de Grande Porte (LLMs) permanecem vulneráveis a ataques de jailbreak baseados em otimização que exploram a estrutura interna de gradientes. Embora autoencoders esparsos (SAEs) sejam amplamente utilizados para interpretabilidade, suas implicações para robustez ainda são pouco exploradas. Apresentamos um estudo sobre a integração de SAEs pré-treinados nos fluxos residuais de transformers durante a inferência, sem modificar os pesos do modelo ou bloquear gradientes. Em quatro famílias de modelos (Gemma, LLaMA, Mistral, Qwen) e dois ataques fortes de caixa branca (GCG, BEAST), além de três referenciais de caixa preta, modelos aumentados com SAEs alcançam uma redução de até 5x na taxa de sucesso de jailbreak em relação à linha de base sem defesa, e reduzem a transferibilidade de ataques entre modelos. Ablações paramétricas revelam (i) uma relação monotônica dose-resposta entre esparsidade L0 e taxa de sucesso do ataque, e (ii) um compromisso defesa-utilidade dependente da camada, onde camadas intermediárias equilibram robustez e desempenho limpo. Esses achados são consistentes com a hipótese do gargalo representacional: a projeção esparsa remodela a geometria de otimização explorada por ataques de jailbreak.

English

Large Language Models (LLMs) remain vulnerable to optimization-based jailbreak attacks that exploit internal gradient structure. While Sparse Autoencoders (SAEs) are widely used for interpretability, their robustness implications remain underexplored. We present a study of integrating pretrained SAEs into transformer residual streams at inference time, without modifying model weights or blocking gradients. Across four model families (Gemma, LLaMA, Mistral, Qwen) and two strong white-box attacks (GCG, BEAST) plus three black-box benchmarks, SAE-augmented models achieve up to a 5x reduction in jailbreak success rate relative to the undefended baseline and reduce cross-model attack transferability. Parametric ablations reveal (i) a monotonic dose-response relationship between L0 sparsity and attack success rate, and (ii) a layer-dependent defense-utility tradeoff, where intermediate layers balance robustness and clean performance. These findings are consistent with a representational bottleneck hypothesis: sparse projection reshapes the optimization geometry exploited by jailbreak attacks.