UniSteer: Matching de Fluxo Guiado por Texto no Espaço de Ativação para Direcionamento Versátil de LLMs

Resumo

O controle baseado em ativações orienta modelos de linguagem de grande porte (LLMs) ao intervir em suas representações internas durante a inferência, e emergiu como um paradigma eficaz para controlar comportamentos como persona e estilo. No entanto, os métodos existentes frequentemente dependem de direções de orientação fixas ou módulos de intervenção específicos para cada tarefa, o que dificulta sua adaptação a conceitos refinados e restrições composicionais. Propomos o UniSteer, um modelo de correspondência de fluxo de ativação guiado por texto que aprende uma distribuição condicional sobre ativações de fluxo residual a partir de condições em linguagem natural. Em vez de ajustar uma intervenção separada para cada comportamento alvo, o UniSteer aprende um campo de velocidade condicional universal no espaço de ativação. No momento da inferência, o UniSteer realiza a inversão de fluxo ao transportar parcialmente uma ativação de origem em direção a um estado latente e regenerá-la sob uma condição textual alvo antes de injetá-la de volta no LLM congelado. O mesmo modelo condicional suporta classificação no espaço de ativação ao selecionar o rótulo textual com a menor energia de reconstrução. Experimentos em três LLMs alvo mostram que o UniSteer fornece uma interface unificada em controle comportamental, orientação de veracidade, orientação de conceitos refinados, seguimento de instruções com múltiplas restrições e classificação no espaço de ativação.

English

Activation-based control steers large language models (LLMs) by intervening on their internal representations during inference, and has emerged as an effective paradigm for controlling behaviors such as persona and style. However, existing methods often rely on fixed steering directions or task-specific intervention modules, making them difficult to adapt to fine-grained concepts and compositional constraints. We propose UniSteer, a text-guided activation flow matching model that learns a conditional distribution over residual-stream activations from natural-language conditions. Instead of fitting a separate intervention for each target behavior, UniSteer learns a universal conditional velocity field in activation space. At inference time, UniSteer performs flow inversion by partially transporting a source activation toward a latent state and regenerating it under a target textual condition before injecting it back into the frozen LLM. The same conditional model supports activation-space classification by selecting the textual label with the lowest reconstruction energy. Experiments on three target LLMs show that UniSteer provides a unified interface across behavioral control, truthfulness steering, fine-grained concept steering, multi-constraint instruction following, and activation-space classification.