CorrSteer: Direcionamento Melhora o Desempenho e a Segurança em LLMs através de Seleção de Recursos Baseada em Correlação com Autoencoders Esparsos

CorrSteer: Steering Improves Task Performance and Safety in LLMs through Correlation-based Sparse Autoencoder Feature Selection

August 18, 2025

Autores: Seonglae Cho, Zekun Wu, Adriano Koshiyama

cs.AI

Resumo

Autoencoders Esparsos (SAEs) podem extrair características interpretáveis de grandes modelos de linguagem (LLMs) sem supervisão. No entanto, sua eficácia em tarefas de direcionamento subsequentes é limitada pela necessidade de conjuntos de dados contrastivos ou armazenamento extensivo de ativações. Para abordar essas limitações, propomos o CorrSteer, que seleciona características correlacionando a correção das amostras com as ativações dos SAEs a partir de tokens gerados no tempo de inferência. Essa abordagem utiliza apenas ativações no tempo de inferência para extrair características mais relevantes, evitando assim correlações espúrias. Ela também obtém coeficientes de direcionamento a partir de ativações médias, automatizando todo o pipeline. Nosso método demonstra melhoria no desempenho de tarefas em QA, mitigação de viés, prevenção de jailbreaking e benchmarks de raciocínio no Gemma 2 2B e LLaMA 3.1 8B, alcançando notavelmente uma melhoria de +4,1% no desempenho do MMLU e +22,9% no HarmBench com apenas 4000 amostras. As características selecionadas demonstram padrões semanticamente significativos alinhados com os requisitos de cada tarefa, revelando as capacidades subjacentes que impulsionam o desempenho. Nosso trabalho estabelece a seleção baseada em correlação como uma abordagem eficaz e escalável para o direcionamento automatizado de SAEs em aplicações de modelos de linguagem.

English

Sparse Autoencoders (SAEs) can extract interpretable features from large language models (LLMs) without supervision. However, their effectiveness in downstream steering tasks is limited by the requirement for contrastive datasets or large activation storage. To address these limitations, we propose CorrSteer, which selects features by correlating sample correctness with SAE activations from generated tokens at inference time. This approach uses only inference-time activations to extract more relevant features, thereby avoiding spurious correlations. It also obtains steering coefficients from average activations, automating the entire pipeline. Our method shows improved task performance on QA, bias mitigation, jailbreaking prevention, and reasoning benchmarks on Gemma 2 2B and LLaMA 3.1 8B, notably achieving a +4.1% improvement in MMLU performance and a +22.9% improvement in HarmBench with only 4000 samples. Selected features demonstrate semantically meaningful patterns aligned with each task's requirements, revealing the underlying capabilities that drive performance. Our work establishes correlationbased selection as an effective and scalable approach for automated SAE steering across language model applications.