SteeringControl: Avaliação Holística do Controle de Alinhamento em Modelos de Linguagem de Grande Escala

SteeringControl: Holistic Evaluation of Alignment Steering in LLMs

September 16, 2025

Autores: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

cs.AI

Resumo

Apresentamos o SteeringControl, um benchmark para avaliar métodos de direcionamento de representações em relação a objetivos fundamentais de alinhamento—viés, geração de conteúdo prejudicial e alucinação—e seus efeitos em comportamentos secundários, como sifonância e moralidade de senso comum. Embora trabalhos anteriores de alinhamento frequentemente destaquem a veracidade ou a capacidade de raciocínio para demonstrar os efeitos colaterais do direcionamento de representações, descobrimos que existem muitas compensações não exploradas que ainda não foram compreendidas de forma sistemática. Coletamos um conjunto de dados de comportamentos primários e secundários relevantes para segurança, a fim de avaliar a eficácia do direcionamento e o entrelaçamento comportamental, com foco em cinco métodos populares de direcionamento. Para viabilizar isso, desenvolvemos uma estrutura modular de direcionamento baseada em componentes únicos que servem como blocos fundamentais de muitos métodos existentes. Nossos resultados com os modelos Qwen-2.5-7B e Llama-3.1-8B mostram que um forte desempenho de direcionamento depende da combinação específica do método de direcionamento, do modelo e do comportamento alvo, e que um entrelaçamento severo de conceitos pode resultar de combinações inadequadas desses três elementos. Disponibilizamos nosso código aqui: https://github.com/wang-research-lab/SteeringControl.git.

English

We introduce SteeringControl, a benchmark for evaluating representation steering methods across core alignment objectives--bias, harmful generation, and hallucination--and their effects on secondary behaviors such as sycophancy and commonsense morality. While prior alignment work often highlights truthfulness or reasoning ability to demonstrate the side effects of representation steering, we find there are many unexplored tradeoffs not yet understood in a systematic way. We collect a dataset of safety-relevant primary and secondary behaviors to evaluate steering effectiveness and behavioral entanglement centered around five popular steering methods. To enable this, we craft a modular steering framework based on unique components that serve as the building blocks of many existing methods. Our results on Qwen-2.5-7B and Llama-3.1-8B find that strong steering performance is dependent on the specific combination of steering method, model, and targeted behavior, and that severe concept entanglement can result from poor combinations of these three as well. We release our code here: https://github.com/wang-research-lab/SteeringControl.git.