UniSteer : Flow Matching guidé par le texte dans l'espace d'activation pour le guidage polyvalent des LLM

Résumé

Le contrôle basé sur l'activation oriente les modèles de langage de grande taille (LLMs) en intervenant sur leurs représentations internes lors de l'inférence, et est devenu un paradigme efficace pour contrôler des comportements tels que la personnalité et le style. Cependant, les méthodes existantes reposent souvent sur des directions de guidage fixes ou des modules d'intervention spécifiques à une tâche, ce qui les rend difficiles à adapter à des concepts fins et à des contraintes compositionnelles. Nous proposons UniSteer, un modèle d'ajustement des flux d'activation guidé par du texte qui apprend une distribution conditionnelle sur les activations du flux résiduel à partir de conditions en langage naturel. Au lieu d'ajuster une intervention distincte pour chaque comportement cible, UniSteer apprend un champ de vélocité conditionnel universel dans l'espace d'activation. Lors de l'inférence, UniSteer effectue une inversion de flux en transportant partiellement une activation source vers un état latent et en la régénérant sous une condition textuelle cible avant de la réinjecter dans le LLM gelé. Ce même modèle conditionnel prend en charge la classification dans l'espace d'activation en sélectionnant l'étiquette textuelle ayant l'énergie de reconstruction la plus faible. Les expériences sur trois LLMs cibles montrent qu'UniSteer fournit une interface unifiée pour le contrôle comportemental, le guidage de véracité, le guidage de concepts fins, le suivi d'instructions multi-contraintes et la classification dans l'espace d'activation.

English

Activation-based control steers large language models (LLMs) by intervening on their internal representations during inference, and has emerged as an effective paradigm for controlling behaviors such as persona and style. However, existing methods often rely on fixed steering directions or task-specific intervention modules, making them difficult to adapt to fine-grained concepts and compositional constraints. We propose UniSteer, a text-guided activation flow matching model that learns a conditional distribution over residual-stream activations from natural-language conditions. Instead of fitting a separate intervention for each target behavior, UniSteer learns a universal conditional velocity field in activation space. At inference time, UniSteer performs flow inversion by partially transporting a source activation toward a latent state and regenerating it under a target textual condition before injecting it back into the frozen LLM. The same conditional model supports activation-space classification by selecting the textual label with the lowest reconstruction energy. Experiments on three target LLMs show that UniSteer provides a unified interface across behavioral control, truthfulness steering, fine-grained concept steering, multi-constraint instruction following, and activation-space classification.