SteeringControl: Ganzheitliche Bewertung der Ausrichtungssteuerung in großen Sprachmodellen

SteeringControl: Holistic Evaluation of Alignment Steering in LLMs

September 16, 2025

papers.authors: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

cs.AI

papers.abstract

Wir stellen SteeringControl vor, einen Benchmark zur Bewertung von Methoden zur Steuerung von Repräsentationen in Bezug auf zentrale Ausrichtungsziele – Voreingenommenheit, schädliche Generierung und Halluzination – sowie deren Auswirkungen auf sekundäre Verhaltensweisen wie Sykophantie und Alltagsmoral. Während frühere Arbeiten zur Ausrichtung oft Wahrhaftigkeit oder Denkfähigkeit hervorheben, um die Nebenwirkungen der Steuerung von Repräsentationen zu demonstrieren, stellen wir fest, dass es viele unerforschte Kompromisse gibt, die noch nicht systematisch verstanden sind. Wir sammeln einen Datensatz von sicherheitsrelevanten primären und sekundären Verhaltensweisen, um die Wirksamkeit der Steuerung und die Verhaltensverschränkung zu bewerten, wobei wir uns auf fünf gängige Steuerungsmethoden konzentrieren. Um dies zu ermöglichen, entwickeln wir ein modulares Steuerungsframework basierend auf einzigartigen Komponenten, die als Bausteine vieler bestehender Methoden dienen. Unsere Ergebnisse mit Qwen-2.5-7B und Llama-3.1-8B zeigen, dass eine starke Steuerungsleistung von der spezifischen Kombination aus Steuerungsmethode, Modell und Zielverhalten abhängt und dass schwerwiegende Konzeptverschränkungen aus schlechten Kombinationen dieser drei Faktoren resultieren können. Wir veröffentlichen unseren Code hier: https://github.com/wang-research-lab/SteeringControl.git.

English

We introduce SteeringControl, a benchmark for evaluating representation steering methods across core alignment objectives--bias, harmful generation, and hallucination--and their effects on secondary behaviors such as sycophancy and commonsense morality. While prior alignment work often highlights truthfulness or reasoning ability to demonstrate the side effects of representation steering, we find there are many unexplored tradeoffs not yet understood in a systematic way. We collect a dataset of safety-relevant primary and secondary behaviors to evaluate steering effectiveness and behavioral entanglement centered around five popular steering methods. To enable this, we craft a modular steering framework based on unique components that serve as the building blocks of many existing methods. Our results on Qwen-2.5-7B and Llama-3.1-8B find that strong steering performance is dependent on the specific combination of steering method, model, and targeted behavior, and that severe concept entanglement can result from poor combinations of these three as well. We release our code here: https://github.com/wang-research-lab/SteeringControl.git.