CorrSteer: Steuerung verbessert Aufgabenleistung und Sicherheit in LLMs durch korrelationsbasierte Sparse-Autoencoder-Feature-Auswahl

CorrSteer: Steering Improves Task Performance and Safety in LLMs through Correlation-based Sparse Autoencoder Feature Selection

August 18, 2025

papers.authors: Seonglae Cho, Zekun Wu, Adriano Koshiyama

cs.AI

papers.abstract

Sparse Autoencoders (SAEs) können interpretierbare Merkmale aus großen Sprachmodellen (LLMs) ohne Überwachung extrahieren. Ihre Effektivität bei nachgelagerten Steuerungsaufgaben ist jedoch durch die Anforderung an kontrastive Datensätze oder große Aktivierungsspeicher begrenzt. Um diese Einschränkungen zu überwinden, schlagen wir CorrSteer vor, das Merkmale auswählt, indem es die Korrektheit von Beispielen mit SAE-Aktivierungen aus generierten Tokens zur Inferenzzeit korreliert. Dieser Ansatz verwendet ausschließlich Inferenzzeit-Aktivierungen, um relevantere Merkmale zu extrahieren und dadurch fehlerhafte Korrelationen zu vermeiden. Zudem werden Steuerungskoeffizienten aus durchschnittlichen Aktivierungen abgeleitet, wodurch die gesamte Pipeline automatisiert wird. Unsere Methode zeigt verbesserte Aufgabenleistung bei QA, Bias-Minderung, Jailbreaking-Prävention und Reasoning-Benchmarks auf Gemma 2 2B und LLaMA 3.1 8B, wobei insbesondere eine Verbesserung von +4,1 % in der MMLU-Leistung und eine Steigerung von +22,9 % in HarmBench mit nur 4000 Beispielen erzielt wird. Die ausgewählten Merkmale zeigen semantisch sinnvolle Muster, die den Anforderungen jeder Aufgabe entsprechen, und offenbaren die zugrunde liegenden Fähigkeiten, die die Leistung antreiben. Unsere Arbeit etabliert korrelationsbasierte Auswahl als einen effektiven und skalierbaren Ansatz für die automatisierte SAE-Steuerung in Sprachmodellanwendungen.

English

Sparse Autoencoders (SAEs) can extract interpretable features from large language models (LLMs) without supervision. However, their effectiveness in downstream steering tasks is limited by the requirement for contrastive datasets or large activation storage. To address these limitations, we propose CorrSteer, which selects features by correlating sample correctness with SAE activations from generated tokens at inference time. This approach uses only inference-time activations to extract more relevant features, thereby avoiding spurious correlations. It also obtains steering coefficients from average activations, automating the entire pipeline. Our method shows improved task performance on QA, bias mitigation, jailbreaking prevention, and reasoning benchmarks on Gemma 2 2B and LLaMA 3.1 8B, notably achieving a +4.1% improvement in MMLU performance and a +22.9% improvement in HarmBench with only 4000 samples. Selected features demonstrate semantically meaningful patterns aligned with each task's requirements, revealing the underlying capabilities that drive performance. Our work establishes correlationbased selection as an effective and scalable approach for automated SAE steering across language model applications.