UniSteer: Текстово-управляемое согласование потоков в пространстве активаций для универсального управления LLM

Аннотация

Управление на основе активаций позволяет направлять большие языковые модели (LLM) путём вмешательства в их внутренние представления во время инференса и зарекомендовало себя как эффективная парадигма для контроля таких аспектов поведения, как персона и стиль. Однако существующие методы часто опираются на фиксированные направления управления или модули вмешательства, специфичные для конкретной задачи, что затрудняет их адаптацию к тонко дифференцированным концепциям и композиционным ограничениям. Мы предлагаем UniSteer — управляемую текстом модель согласования потока активаций, которая обучает условное распределение по активациям остаточного потока на основе условий, заданных на естественном языке. Вместо подгонки отдельного вмешательства для каждого целевого поведения UniSteer обучает универсальное условное поле скоростей в пространстве активаций. На этапе инференса UniSteer выполняет инверсию потока, частично перенося исходную активацию в скрытое состояние и регенерируя её при заданном целевом текстовом условии, после чего внедряет её обратно в замороженную LLM. Та же условная модель поддерживает классификацию в пространстве активаций путём выбора текстовой метки с наименьшей энергией реконструкции. Эксперименты на трёх целевых LLM показывают, что UniSteer обеспечивает единый интерфейс для управления поведением, управления правдивостью, тонко дифференцированного управления концепциями, следования инструкциям с множественными ограничениями и классификации в пространстве активаций.

English

Activation-based control steers large language models (LLMs) by intervening on their internal representations during inference, and has emerged as an effective paradigm for controlling behaviors such as persona and style. However, existing methods often rely on fixed steering directions or task-specific intervention modules, making them difficult to adapt to fine-grained concepts and compositional constraints. We propose UniSteer, a text-guided activation flow matching model that learns a conditional distribution over residual-stream activations from natural-language conditions. Instead of fitting a separate intervention for each target behavior, UniSteer learns a universal conditional velocity field in activation space. At inference time, UniSteer performs flow inversion by partially transporting a source activation toward a latent state and regenerating it under a target textual condition before injecting it back into the frozen LLM. The same conditional model supports activation-space classification by selecting the textual label with the lowest reconstruction energy. Experiments on three target LLMs show that UniSteer provides a unified interface across behavioral control, truthfulness steering, fine-grained concept steering, multi-constraint instruction following, and activation-space classification.