SteeringControl: 大規模言語モデルにおけるアライメント制御の包括的評価

SteeringControl: Holistic Evaluation of Alignment Steering in LLMs

September 16, 2025

著者: Vincent Siu, Nicholas Crispino, David Park, Nathan W. Henry, Zhun Wang, Yang Liu, Dawn Song, Chenguang Wang

cs.AI

要旨

本論文では、SteeringControlというベンチマークを紹介します。これは、バイアス、有害な生成、幻覚といった中核的なアライメント目標に対する表現制御手法の評価と、それらがシコファンシー（ごますり）や常識的な道徳観といった二次的行動に及ぼす影響を測定するものです。従来のアライメント研究では、表現制御の副作用を示すために真実性や推論能力が強調されることが多かったですが、私たちは体系的に理解されていない多くのトレードオフが存在することを発見しました。私たちは、安全性に関連する主要行動と二次的行動のデータセットを収集し、5つの人気のある制御手法を中心に、制御の有効性と行動の絡み合いを評価します。これを可能にするため、既存の多くの手法の構成要素として機能する独自のコンポーネントに基づいたモジュール型制御フレームワークを構築しました。Qwen-2.5-7BとLlama-3.1-8Bでの実験結果から、強力な制御性能は、特定の制御手法、モデル、ターゲット行動の組み合わせに依存し、これらの不適切な組み合わせは深刻な概念の絡み合いを引き起こす可能性があることがわかりました。私たちはコードを以下で公開しています： https://github.com/wang-research-lab/SteeringControl.git

English

We introduce SteeringControl, a benchmark for evaluating representation steering methods across core alignment objectives--bias, harmful generation, and hallucination--and their effects on secondary behaviors such as sycophancy and commonsense morality. While prior alignment work often highlights truthfulness or reasoning ability to demonstrate the side effects of representation steering, we find there are many unexplored tradeoffs not yet understood in a systematic way. We collect a dataset of safety-relevant primary and secondary behaviors to evaluate steering effectiveness and behavioral entanglement centered around five popular steering methods. To enable this, we craft a modular steering framework based on unique components that serve as the building blocks of many existing methods. Our results on Qwen-2.5-7B and Llama-3.1-8B find that strong steering performance is dependent on the specific combination of steering method, model, and targeted behavior, and that severe concept entanglement can result from poor combinations of these three as well. We release our code here: https://github.com/wang-research-lab/SteeringControl.git.