Управление направлением: комплексная оценка управления выравниванием в языковых моделях

SteeringControl: Holistic Evaluation of Alignment Steering in LLMs

September 16, 2025

Авторы: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

cs.AI

Аннотация

Мы представляем SteeringControl — эталонный тест для оценки методов управления представлениями по ключевым задачам согласования: предвзятость, генерация вредоносного контента и галлюцинации, а также их влияния на вторичные поведенческие аспекты, такие как угодничество и здравый моральный смысл. В то время как предыдущие работы по согласованию часто акцентируют внимание на правдивости или способности к рассуждению для демонстрации побочных эффектов управления представлениями, мы обнаруживаем, что существует множество неисследованных компромиссов, которые еще не изучены систематически. Мы собираем набор данных, включающий первичные и вторичные поведенческие аспекты, связанные с безопасностью, для оценки эффективности управления и переплетения поведений, сосредоточившись на пяти популярных методах управления. Для реализации этого мы разрабатываем модульную структуру управления, основанную на уникальных компонентах, которые служат строительными блоками для многих существующих методов. Наши результаты на моделях Qwen-2.5-7B и Llama-3.1-8B показывают, что эффективность управления сильно зависит от конкретной комбинации метода управления, модели и целевого поведения, а также что неподходящие комбинации этих трех факторов могут приводить к серьезному переплетению концепций. Мы публикуем наш код по адресу: https://github.com/wang-research-lab/SteeringControl.git.

English

We introduce SteeringControl, a benchmark for evaluating representation steering methods across core alignment objectives--bias, harmful generation, and hallucination--and their effects on secondary behaviors such as sycophancy and commonsense morality. While prior alignment work often highlights truthfulness or reasoning ability to demonstrate the side effects of representation steering, we find there are many unexplored tradeoffs not yet understood in a systematic way. We collect a dataset of safety-relevant primary and secondary behaviors to evaluate steering effectiveness and behavioral entanglement centered around five popular steering methods. To enable this, we craft a modular steering framework based on unique components that serve as the building blocks of many existing methods. Our results on Qwen-2.5-7B and Llama-3.1-8B find that strong steering performance is dependent on the specific combination of steering method, model, and targeted behavior, and that severe concept entanglement can result from poor combinations of these three as well. We release our code here: https://github.com/wang-research-lab/SteeringControl.git.