Steer2Adapt: Динамическое комбинирование векторов управления обеспечивает эффективную адаптацию больших языковых моделей
Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs
February 7, 2026
Авторы: Pengrui Han, Xueqiang Xu, Keyang Xuan, Peiyang Song, Siru Ouyang, Runchu Tian, Yuqing Jiang, Cheng Qian, Pengcheng Jiang, Jiashuo Sun, Junxia Cui, Ming Zhong, Ge Liu, Jiawei Han, Jiaxuan You
cs.AI
Аннотация
Управление активацией (activation steering) стало перспективным подходом для эффективной адаптации больших языковых моделей (БЯМ) к целевым поведенческим сценариям. Однако большинство существующих методов управления основываются на единственном статическом направлении для каждой задачи или концепции, что делает их негибкими при изменении условий задачи и неадекватными для сложных задач, требующих согласованного применения нескольких способностей. Для преодоления этого ограничения мы предлагаем STEER2ADAPT — облегченный фреймворк, который адаптирует БЯМ путем композиции векторов управления, а не обучения новых с нуля. Во многих областях (например, рассуждения или безопасность) задачи разделяют небольшой набор базовых концептуальных измерений. STEER2ADAPT фиксирует эти измерения в виде многократно используемого низкоразмерного семантического подпространства-приора и адаптируется к новым задачам путем динамического обнаружения линейной комбинации базисных векторов всего на основе нескольких примеров. Эксперименты на 9 задачах и 3 моделях в областях рассуждений и безопасности демонстрируют эффективность STEER2ADAPT, показывая среднее улучшение на 8.2%. Обширный анализ дополнительно показывает, что STEER2ADAPT является ресурсоэффективным, стабильным и интерпретируемым методом адаптации БЯМ во время вывода.
English
Activation steering has emerged as a promising approach for efficiently adapting large language models (LLMs) to downstream behaviors. However, most existing steering methods rely on a single static direction per task or concept, making them inflexible under task variation and inadequate for complex tasks that require multiple coordinated capabilities. To address this limitation, we propose STEER2ADAPT, a lightweight framework that adapts LLMs by composing steering vectors rather than learning new ones from scratch. In many domains (e.g., reasoning or safety), tasks share a small set of underlying concept dimensions. STEER2ADAPT captures these dimensions as a reusable, low-dimensional semantic prior subspace, and adapts to new tasks by dynamically discovering a linear combination of basis vectors from only a handful of examples. Experiments across 9 tasks and 3 models in both reasoning and safety domains demonstrate the effectiveness of STEER2ADAPT, achieving an average improvement of 8.2%. Extensive analyses further show that STEER2ADAPT is a data-efficient, stable, and transparent inference-time adaptation method for LLMs.