SteeringControl: Holistische Evaluatie van Alignment Sturing in LLM's

SteeringControl: Holistic Evaluation of Alignment Steering in LLMs

September 16, 2025

Auteurs: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

cs.AI

Samenvatting

We introduceren SteeringControl, een benchmark voor het evalueren van representatiesturingsmethoden op kernuitlijningsdoelen—vooroordelen, schadelijke generatie en hallucinatie—en hun effecten op secundair gedrag zoals slaafs gedrag en gezond verstand moraliteit. Terwijl eerder uitlijningswerk vaak waarheidsgetrouwheid of redeneervermogen benadrukt om de neveneffecten van representatiesturing te demonstreren, ontdekken we dat er veel onontgonnen afwegingen zijn die nog niet op een systematische manier zijn begrepen. We verzamelen een dataset van veiligheidsgerelateerd primair en secundair gedrag om de effectiviteit van sturing en gedragsverstrengeling te evalueren, gericht op vijf populaire sturingsmethoden. Om dit mogelijk te maken, ontwikkelen we een modulair sturingsraamwerk gebaseerd op unieke componenten die dienen als bouwstenen voor veel bestaande methoden. Onze resultaten op Qwen-2.5-7B en Llama-3.1-8B tonen aan dat sterke sturingsprestaties afhankelijk zijn van de specifieke combinatie van sturingsmethode, model en doelgedrag, en dat ernstige conceptverstrengeling kan ontstaan door slechte combinaties van deze drie. We geven onze code vrij hier: https://github.com/wang-research-lab/SteeringControl.git.

English

We introduce SteeringControl, a benchmark for evaluating representation steering methods across core alignment objectives--bias, harmful generation, and hallucination--and their effects on secondary behaviors such as sycophancy and commonsense morality. While prior alignment work often highlights truthfulness or reasoning ability to demonstrate the side effects of representation steering, we find there are many unexplored tradeoffs not yet understood in a systematic way. We collect a dataset of safety-relevant primary and secondary behaviors to evaluate steering effectiveness and behavioral entanglement centered around five popular steering methods. To enable this, we craft a modular steering framework based on unique components that serve as the building blocks of many existing methods. Our results on Qwen-2.5-7B and Llama-3.1-8B find that strong steering performance is dependent on the specific combination of steering method, model, and targeted behavior, and that severe concept entanglement can result from poor combinations of these three as well. We release our code here: https://github.com/wang-research-lab/SteeringControl.git.