Steuern bei Bedarf: Flexibles Lenken großer Sprachmodelle mit Rückverfolgung

Steering When Necessary: Flexible Steering Large Language Models with Backtracking

August 25, 2025

papers.authors: Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu

cs.AI

papers.abstract

Große Sprachmodelle (LLMs) haben bemerkenswerte Leistungen in vielen Generierungsaufgaben erzielt. Dennoch bleibt die effektive Ausrichtung auf gewünschte Verhaltensweisen eine erhebliche Herausforderung. Die Aktivierungssteuerung ist ein effektiver und kosteneffizienter Ansatz, der die Aktivierungen von LLMs direkt während der Inferenzphase modifiziert, um ihre Antworten mit den gewünschten Verhaltensweisen in Einklang zu bringen und die hohen Kosten einer Feinabstimmung zu vermeiden. Bestehende Methoden greifen typischerweise wahllos in alle Generierungen ein oder stützen sich ausschließlich auf die Frage, um das Eingreifen zu bestimmen, was die genaue Bewertung der Eingriffsstärke einschränkt. Zu diesem Zweck schlagen wir das Flexible Activation Steering with Backtracking (FASB)-Framework vor, das sowohl die Notwendigkeit als auch die Stärke des Eingriffs dynamisch bestimmt, indem es die internen Zustände der LLMs während der Generierung verfolgt und sowohl die Frage als auch den generierten Inhalt berücksichtigt. Da ein Eingreifen nach der Erkennung einer Abweichung vom gewünschten Verhalten oft zu spät ist, schlagen wir weiterhin den Backtracking-Mechanismus vor, um die abgewichenen Token zu korrigieren und die LLMs in Richtung des gewünschten Verhaltens zu steuern. Umfangreiche Experimente auf dem TruthfulQA-Datensatz und sechs Multiple-Choice-Datensätzen zeigen, dass unsere Methode die Baselines übertrifft. Unser Code wird unter https://github.com/gjw185/FASB veröffentlicht.

English

Large language models (LLMs) have achieved remarkable performance across many generation tasks. Nevertheless, effectively aligning them with desired behaviors remains a significant challenge. Activation steering is an effective and cost-efficient approach that directly modifies the activations of LLMs during the inference stage, aligning their responses with the desired behaviors and avoiding the high cost of fine-tuning. Existing methods typically indiscriminately intervene to all generations or rely solely on the question to determine intervention, which limits the accurate assessment of the intervention strength. To this end, we propose the Flexible Activation Steering with Backtracking (FASB) framework, which dynamically determines both the necessity and strength of intervention by tracking the internal states of the LLMs during generation, considering both the question and the generated content. Since intervening after detecting a deviation from the desired behavior is often too late, we further propose the backtracking mechanism to correct the deviated tokens and steer the LLMs toward the desired behavior. Extensive experiments on the TruthfulQA dataset and six multiple-choice datasets demonstrate that our method outperforms baselines. Our code will be released at https://github.com/gjw185/FASB.