스티어링 기하학: LLM 스티어링 공간에서의 인간 가치 기하학 검증

초록

대규모 언어 모델(LLM)이 정렬에 민감한 맥락에서 점점 더 많이 배포됨에 따라, 활성화 스티어링은 행동 제어를 위한 미세조정 방법(예: RLHF, DPO)의 경량 추론 시점 대안으로 부상했다. 그러나 기존 연구는 일반적으로 고립된 행동들에 대해 스티어링을 검증하므로, 스티어링 벡터가 일관된 의미 구조를 인코딩하는지 아니면 단지 행동 특화 단축 경로를 활용하는지 불분명하게 남아 있다. 우리는 LLM 스티어링 벡터의 잠재 기하학이 인간 가치와 도덕성에서 이론이 명시한 구조를 반영하는지 조사한다. 주요 세분화 프레임워크로 슈바르츠의 기본 인간 가치 이론을 사용하여, 20개 인간 가치를 포괄하는 26K 샘플 벤치마크를 도입하고 분포 기반 방법(예: CAA, SphericalSteer, ODESteer)과 행동 중심 접근법(예: COLD-Steer, BiPO)을 다양한 모델 계열과 크기에 걸쳐 분석한다. 우리는 분포 기반 방법이 이론적 예측과 부합하는 인간 가치 토폴로지를 복원함을 발견한다(스피어만 ρ 최대 0.51, p < 10^{-13}). 대조적으로, 행동 중심 방법은 비슷한 수준의 스티어링 성능을 달성하지만 기대되는 가치 기하학과는 거의 상관관계를 보이지 않는다. 기하학적 충실도는 모델 규모가 커짐에 따라 향상되지만 인스트럭션 튜닝 이후에는 하락한다. 마지막으로, 더 나은 기하학적 정렬은 가치 전반에 걸쳐 더 인간과 일관된 전이를 이끌어낸다: 한 가치를 올바르게 스티어링하면 양립 가능한 가치를 높이고 반대되는 가치를 억제한다. 코드와 데이터는 https://github.com/DeepRCL/Steering_Geometry에서 이용 가능하다.

English

As large language models (LLMs) are increasingly deployed in alignment-sensitive contexts, activation steering has emerged as a lightweight, inference-time alternative to fine-tuning methods (e.g., RLHF, DPO) for behavioral control. However, existing work typically validates steering on isolated behaviors, leaving it unclear whether steering vectors encode coherent semantic structure or merely exploit behavior-specific shortcuts. We investigate whether the latent geometry of LLM steering vectors reflects theory-specified structure in human values and morality. Using Schwartz's Theory of Basic Human Values as our primary fine-grained framework, we introduce a 26K-sample benchmark covering 20 human values and analyze distribution-driven methods (e.g., CAA, SphericalSteer, ODESteer) and behavior-centric approaches (e.g., COLD-Steer, BiPO) across diverse model families and sizes. We find that distribution-driven methods recover human value topologies aligned with theoretical predictions (Spearman ρ up to 0.51, p < 10^{-13}). In contrast, behavior-centric methods achieve comparable steering performance but show little correlation with the expected value geometry. Geometric fidelity improves with model scale but drops after instruction tuning. Finally, better geometric alignment also leads to more human-consistent transfer across values: steering one value correctly lifts compatible values and suppresses opposing ones. Code and data are available at: https://github.com/DeepRCL/Steering_Geometry.