Sturen waar nodig: Flexibel sturen van grote taalmodellen met terugkeermogelijkheden

Steering When Necessary: Flexible Steering Large Language Models with Backtracking

August 25, 2025

Auteurs: Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu

cs.AI

Samenvatting

Grote taalmodellen (LLMs) hebben opmerkelijke prestaties geleverd bij veel generatietaken. Desalniettemin blijft het effectief afstemmen van deze modellen op gewenst gedrag een aanzienlijke uitdaging. Activatiesturing is een effectieve en kostenefficiënte benadering die de activaties van LLMs direct aanpast tijdens de inferentiefase, waardoor hun reacties worden afgestemd op het gewenste gedrag en de hoge kosten van fine-tuning worden vermeden. Bestaande methoden grijpen doorgaans ongericht in op alle generaties of baseren zich uitsluitend op de vraag om interventie te bepalen, wat een nauwkeurige beoordeling van de interventiesterkte beperkt. Daarom stellen we het Flexible Activation Steering with Backtracking (FASB) framework voor, dat dynamisch zowel de noodzaak als de sterkte van interventie bepaalt door de interne toestanden van de LLMs tijdens de generatie te volgen, waarbij zowel de vraag als de gegenereerde inhoud in overweging worden genomen. Omdat ingrijpen na het detecteren van een afwijking van het gewenste gedrag vaak te laat is, stellen we verder het backtracking-mechanisme voor om de afwijkende tokens te corrigeren en de LLMs naar het gewenste gedrag te sturen. Uitgebreide experimenten op de TruthfulQA-dataset en zes multiple-choice datasets tonen aan dat onze methode de baseline-methoden overtreft. Onze code zal worden vrijgegeven op https://github.com/gjw185/FASB.

English

Large language models (LLMs) have achieved remarkable performance across many generation tasks. Nevertheless, effectively aligning them with desired behaviors remains a significant challenge. Activation steering is an effective and cost-efficient approach that directly modifies the activations of LLMs during the inference stage, aligning their responses with the desired behaviors and avoiding the high cost of fine-tuning. Existing methods typically indiscriminately intervene to all generations or rely solely on the question to determine intervention, which limits the accurate assessment of the intervention strength. To this end, we propose the Flexible Activation Steering with Backtracking (FASB) framework, which dynamically determines both the necessity and strength of intervention by tracking the internal states of the LLMs during generation, considering both the question and the generated content. Since intervening after detecting a deviation from the desired behavior is often too late, we further propose the backtracking mechanism to correct the deviated tokens and steer the LLMs toward the desired behavior. Extensive experiments on the TruthfulQA dataset and six multiple-choice datasets demonstrate that our method outperforms baselines. Our code will be released at https://github.com/gjw185/FASB.