CorrSteer: Sturing verbetert taakprestaties en veiligheid in LLM's door correlatiegebaseerde selectie van sparse autoencoder-functies

CorrSteer: Steering Improves Task Performance and Safety in LLMs through Correlation-based Sparse Autoencoder Feature Selection

August 18, 2025

Auteurs: Seonglae Cho, Zekun Wu, Adriano Koshiyama

cs.AI

Samenvatting

Sparse Autoencoders (SAE's) kunnen interpreteerbare kenmerken extraheren uit grote taalmmodellen (LLM's) zonder supervisie. Hun effectiviteit in downstream-stuur taken wordt echter beperkt door de noodzaak van contrastieve datasets of grote activatieopslag. Om deze beperkingen aan te pakken, stellen we CorrSteer voor, dat kenmerken selecteert door de correctheid van samples te correleren met SAE-activaties van gegenereerde tokens tijdens inferentie. Deze aanpak gebruikt alleen inferentie-activaties om relevantere kenmerken te extraheren, waardoor spurious correlaties worden vermeden. Het verkrijgt ook stuurcoëfficiënten uit gemiddelde activaties, waardoor de hele pijplijn wordt geautomatiseerd. Onze methode toont verbeterde taakprestaties op QA, bias-mitigatie, jailbreaking-preventie en redeneerbenchmarks op Gemma 2 2B en LLaMA 3.1 8B, met name een verbetering van +4,1% in MMLU-prestaties en een verbetering van +22,9% in HarmBench met slechts 4000 samples. Geselecteerde kenmerken tonen semantisch betekenisvolle patronen die aansluiten bij de vereisten van elke taak, wat de onderliggende capaciteiten onthult die de prestaties sturen. Ons werk vestigt correlatiegebaseerde selectie als een effectieve en schaalbare aanpak voor geautomatiseerd SAE-sturen in taalmodeltoepassingen.

English

Sparse Autoencoders (SAEs) can extract interpretable features from large language models (LLMs) without supervision. However, their effectiveness in downstream steering tasks is limited by the requirement for contrastive datasets or large activation storage. To address these limitations, we propose CorrSteer, which selects features by correlating sample correctness with SAE activations from generated tokens at inference time. This approach uses only inference-time activations to extract more relevant features, thereby avoiding spurious correlations. It also obtains steering coefficients from average activations, automating the entire pipeline. Our method shows improved task performance on QA, bias mitigation, jailbreaking prevention, and reasoning benchmarks on Gemma 2 2B and LLaMA 3.1 8B, notably achieving a +4.1% improvement in MMLU performance and a +22.9% improvement in HarmBench with only 4000 samples. Selected features demonstrate semantically meaningful patterns aligned with each task's requirements, revealing the underlying capabilities that drive performance. Our work establishes correlationbased selection as an effective and scalable approach for automated SAE steering across language model applications.