Piloter quand nécessaire : Guidage flexible des grands modèles de langage avec retour en arrière

Steering When Necessary: Flexible Steering Large Language Models with Backtracking

August 25, 2025

papers.authors: Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu

cs.AI

papers.abstract

Les grands modèles de langage (LLMs) ont obtenu des performances remarquables dans de nombreuses tâches de génération. Néanmoins, les aligner efficacement avec les comportements souhaités reste un défi majeur. Le pilotage par activation est une approche efficace et économique qui modifie directement les activations des LLMs pendant l'étape d'inférence, alignant leurs réponses avec les comportements désirés et évitant le coût élevé du fine-tuning. Les méthodes existantes interviennent généralement de manière indiscriminée sur toutes les générations ou se basent uniquement sur la question pour déterminer l'intervention, ce qui limite l'évaluation précise de l'intensité de l'intervention. À cette fin, nous proposons le cadre Flexible Activation Steering with Backtracking (FASB), qui détermine dynamiquement à la fois la nécessité et l'intensité de l'intervention en suivant les états internes des LLMs pendant la génération, en tenant compte à la fois de la question et du contenu généré. Comme intervenir après avoir détecté une déviation par rapport au comportement souhaité est souvent trop tard, nous proposons en outre un mécanisme de retour en arrière pour corriger les tokens déviés et orienter les LLMs vers le comportement souhaité. Des expériences approfondies sur le jeu de données TruthfulQA et six jeux de données à choix multiples démontrent que notre méthode surpasse les approches de référence. Notre code sera publié à l'adresse https://github.com/gjw185/FASB.

English

Large language models (LLMs) have achieved remarkable performance across many generation tasks. Nevertheless, effectively aligning them with desired behaviors remains a significant challenge. Activation steering is an effective and cost-efficient approach that directly modifies the activations of LLMs during the inference stage, aligning their responses with the desired behaviors and avoiding the high cost of fine-tuning. Existing methods typically indiscriminately intervene to all generations or rely solely on the question to determine intervention, which limits the accurate assessment of the intervention strength. To this end, we propose the Flexible Activation Steering with Backtracking (FASB) framework, which dynamically determines both the necessity and strength of intervention by tracking the internal states of the LLMs during generation, considering both the question and the generated content. Since intervening after detecting a deviation from the desired behavior is often too late, we further propose the backtracking mechanism to correct the deviated tokens and steer the LLMs toward the desired behavior. Extensive experiments on the TruthfulQA dataset and six multiple-choice datasets demonstrate that our method outperforms baselines. Our code will be released at https://github.com/gjw185/FASB.