UniSteer: Textgesteuertes Flow Matching im Aktivierungsraum für vielseitige LLM-Steuerung

Zusammenfassung

Auf aktivierungsbasierter Steuerung basierende Lenkung großer Sprachmodelle (LLMs) greift während der Inferenz in deren interne Repräsentationen ein und hat sich als effektives Paradigma zur Kontrolle von Verhaltensweisen wie Persona und Stil etabliert. Bestehende Methoden beruhen jedoch häufig auf festen Steuerungsrichtungen oder aufgabenspezifischen Interventionsmodulen, was die Anpassung an feinkörnige Konzepte und kompositionale Beschränkungen erschwert. Wir schlagen UniSteer vor, ein textgesteuertes Aktivierungsfluss-Matching-Modell, das eine bedingte Verteilung über Residualstrom-Aktivierungen aus natürlichsprachlichen Bedingungen erlernt. Anstatt für jedes Zielverhalten eine separate Intervention zu erstellen, erlernt UniSteer ein universelles bedingtes Geschwindigkeitsfeld im Aktivierungsraum. Zur Inferenzzeit führt UniSteer eine Flussinversion durch, indem es eine Quellaktivierung teilweise zu einem latenten Zustand transportiert und sie unter einer textuellen Zielbedingung regeneriert, bevor sie zurück in das eingefrorene LLM injiziert wird. Dasselbe bedingte Modell unterstützt die Aktivierungsraum-Klassifikation, indem das textuelle Label mit der niedrigsten Rekonstruktionsenergie ausgewählt wird. Experimente an drei Ziel-LLMs zeigen, dass UniSteer eine einheitliche Schnittstelle für Verhaltenskontrolle, Wahrhaftigkeitssteuerung, feinkörnige Konzeptsteuerung, Anweisungsbefolgung mit mehreren Einschränkungen und Aktivierungsraum-Klassifikation bietet.

English

Activation-based control steers large language models (LLMs) by intervening on their internal representations during inference, and has emerged as an effective paradigm for controlling behaviors such as persona and style. However, existing methods often rely on fixed steering directions or task-specific intervention modules, making them difficult to adapt to fine-grained concepts and compositional constraints. We propose UniSteer, a text-guided activation flow matching model that learns a conditional distribution over residual-stream activations from natural-language conditions. Instead of fitting a separate intervention for each target behavior, UniSteer learns a universal conditional velocity field in activation space. At inference time, UniSteer performs flow inversion by partially transporting a source activation toward a latent state and regenerating it under a target textual condition before injecting it back into the frozen LLM. The same conditional model supports activation-space classification by selecting the textual label with the lowest reconstruction energy. Experiments on three target LLMs show that UniSteer provides a unified interface across behavioral control, truthfulness steering, fine-grained concept steering, multi-constraint instruction following, and activation-space classification.