Steer2Adapt : La composition dynamique de vecteurs de pilotage suscite une adaptation efficace des LLM
Steer2Adapt: Dynamically Composing Steering Vectors Elicits Efficient Adaptation of LLMs
February 7, 2026
papers.authors: Pengrui Han, Xueqiang Xu, Keyang Xuan, Peiyang Song, Siru Ouyang, Runchu Tian, Yuqing Jiang, Cheng Qian, Pengcheng Jiang, Jiashuo Sun, Junxia Cui, Ming Zhong, Ge Liu, Jiawei Han, Jiaxuan You
cs.AI
papers.abstract
Le pilotage par activation (activation steering) est apparu comme une approche prometteuse pour adapter efficacement les grands modèles de langage (LLM) à des comportements en aval. Cependant, la plupart des méthodes de pilotage existantes reposent sur une direction statique unique par tâche ou concept, ce qui les rend inflexibles face aux variations des tâches et inadéquates pour les tâches complexes nécessitant plusieurs capacités coordonnées. Pour remédier à cette limitation, nous proposons STEER2ADAPT, un cadre léger qui adapte les LLM en composant des vecteurs de pilotage plutôt qu'en en apprenant de nouveaux à partir de zéro. Dans de nombreux domaines (par exemple, le raisonnement ou la sécurité), les tâches partagent un petit ensemble de dimensions conceptuelles sous-jacentes. STEER2ADAPT capture ces dimensions sous la forme d'un sous-espace sémantique préalable réutilisable et de faible dimension, et s'adapte à de nouvelles tâches en découvrant dynamiquement une combinaison linéaire de vecteurs de base à partir de seulement quelques exemples. Les expériences menées sur 9 tâches et 3 modèles, dans les domaines du raisonnement et de la sécurité, démontrent l'efficacité de STEER2ADAPT, avec une amélioration moyenne de 8,2 %. Des analyses approfondies montrent en outre que STEER2ADAPT est une méthode d'adaptation au moment de l'inférence économe en données, stable et transparente pour les LLM.
English
Activation steering has emerged as a promising approach for efficiently adapting large language models (LLMs) to downstream behaviors. However, most existing steering methods rely on a single static direction per task or concept, making them inflexible under task variation and inadequate for complex tasks that require multiple coordinated capabilities. To address this limitation, we propose STEER2ADAPT, a lightweight framework that adapts LLMs by composing steering vectors rather than learning new ones from scratch. In many domains (e.g., reasoning or safety), tasks share a small set of underlying concept dimensions. STEER2ADAPT captures these dimensions as a reusable, low-dimensional semantic prior subspace, and adapts to new tasks by dynamically discovering a linear combination of basis vectors from only a handful of examples. Experiments across 9 tasks and 3 models in both reasoning and safety domains demonstrate the effectiveness of STEER2ADAPT, achieving an average improvement of 8.2%. Extensive analyses further show that STEER2ADAPT is a data-efficient, stable, and transparent inference-time adaptation method for LLMs.