CorrSteer: Повышение производительности и безопасности задач в языковых моделях через корреляционный разреженный выбор признаков с использованием автоэнкодера

CorrSteer: Steering Improves Task Performance and Safety in LLMs through Correlation-based Sparse Autoencoder Feature Selection

August 18, 2025

Авторы: Seonglae Cho, Zekun Wu, Adriano Koshiyama

cs.AI

Аннотация

Разреженные автокодировщики (SAE) способны извлекать интерпретируемые признаки из крупных языковых моделей (LLM) без обучения с учителем. Однако их эффективность в задачах управления на последующих этапах ограничена необходимостью использования контрастных наборов данных или хранения больших объемов активаций. Чтобы устранить эти ограничения, мы предлагаем метод CorrSteer, который выбирает признаки путем корреляции правильности выборок с активациями SAE на сгенерированных токенах во время вывода. Этот подход использует только активации на этапе вывода для извлечения более релевантных признаков, тем самым избегая ложных корреляций. Он также автоматически получает коэффициенты управления из средних активаций, автоматизируя весь процесс. Наш метод демонстрирует улучшение производительности на задачах вопросно-ответных систем, снижения предвзятости, предотвращения взлома и тестах на логическое мышление для моделей Gemma 2 2B и LLaMA 3.1 8B, достигая улучшения на +4,1% в тесте MMLU и на +22,9% в HarmBench при использовании всего 4000 образцов. Выбранные признаки демонстрируют семантически значимые паттерны, соответствующие требованиям каждой задачи, раскрывая базовые возможности, которые обеспечивают производительность. Наша работа устанавливает корреляционный отбор как эффективный и масштабируемый подход для автоматизированного управления SAE в различных приложениях языковых моделей.

English

Sparse Autoencoders (SAEs) can extract interpretable features from large language models (LLMs) without supervision. However, their effectiveness in downstream steering tasks is limited by the requirement for contrastive datasets or large activation storage. To address these limitations, we propose CorrSteer, which selects features by correlating sample correctness with SAE activations from generated tokens at inference time. This approach uses only inference-time activations to extract more relevant features, thereby avoiding spurious correlations. It also obtains steering coefficients from average activations, automating the entire pipeline. Our method shows improved task performance on QA, bias mitigation, jailbreaking prevention, and reasoning benchmarks on Gemma 2 2B and LLaMA 3.1 8B, notably achieving a +4.1% improvement in MMLU performance and a +22.9% improvement in HarmBench with only 4000 samples. Selected features demonstrate semantically meaningful patterns aligned with each task's requirements, revealing the underlying capabilities that drive performance. Our work establishes correlationbased selection as an effective and scalable approach for automated SAE steering across language model applications.