SteeringControl: Valutazione Olistica del Controllo di Allineamento nei Modelli Linguistici di Grande Dimensione

SteeringControl: Holistic Evaluation of Alignment Steering in LLMs

September 16, 2025

Autori: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

cs.AI

Abstract

Introduciamo SteeringControl, un benchmark per valutare i metodi di steering delle rappresentazioni rispetto agli obiettivi fondamentali dell'allineamento—bias, generazione dannosa e allucinazione—e i loro effetti su comportamenti secondari come la sifofanzia e la moralità basata sul senso comune. Mentre il lavoro precedente sull'allineamento spesso evidenzia la veridicità o la capacità di ragionamento per dimostrare gli effetti collaterali dello steering delle rappresentazioni, scopriamo che esistono molti compromessi inesplorati che non sono ancora stati compresi in modo sistematico. Raccogliamo un dataset di comportamenti primari e secondari rilevanti per la sicurezza per valutare l'efficacia dello steering e l'intreccio comportamentale, concentrandoci su cinque metodi di steering popolari. Per renderlo possibile, progettiamo un framework di steering modulare basato su componenti unici che fungono da elementi costitutivi di molti metodi esistenti. I nostri risultati su Qwen-2.5-7B e Llama-3.1-8B mostrano che una forte performance di steering dipende dalla specifica combinazione di metodo di steering, modello e comportamento target, e che una grave intreccio concettuale può derivare da combinazioni scadenti di questi tre elementi. Rilasciamo il nostro codice qui: https://github.com/wang-research-lab/SteeringControl.git.

English

We introduce SteeringControl, a benchmark for evaluating representation steering methods across core alignment objectives--bias, harmful generation, and hallucination--and their effects on secondary behaviors such as sycophancy and commonsense morality. While prior alignment work often highlights truthfulness or reasoning ability to demonstrate the side effects of representation steering, we find there are many unexplored tradeoffs not yet understood in a systematic way. We collect a dataset of safety-relevant primary and secondary behaviors to evaluate steering effectiveness and behavioral entanglement centered around five popular steering methods. To enable this, we craft a modular steering framework based on unique components that serve as the building blocks of many existing methods. Our results on Qwen-2.5-7B and Llama-3.1-8B find that strong steering performance is dependent on the specific combination of steering method, model, and targeted behavior, and that severe concept entanglement can result from poor combinations of these three as well. We release our code here: https://github.com/wang-research-lab/SteeringControl.git.