Direcionando Quando Necessário: Controle Flexível de Modelos de Linguagem de Grande Escala com Retrocesso

Steering When Necessary: Flexible Steering Large Language Models with Backtracking

August 25, 2025

Autores: Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) alcançaram desempenho notável em diversas tarefas de geração. No entanto, alinhá-los efetivamente com comportamentos desejados continua sendo um desafio significativo. A direcionamento de ativações é uma abordagem eficaz e de baixo custo que modifica diretamente as ativações dos LLMs durante a etapa de inferência, alinhando suas respostas com os comportamentos desejados e evitando o alto custo do ajuste fino. Os métodos existentes geralmente intervêm indiscriminadamente em todas as gerações ou dependem exclusivamente da pergunta para determinar a intervenção, o que limita a avaliação precisa da intensidade da intervenção. Para isso, propomos o framework Flexible Activation Steering with Backtracking (FASB), que determina dinamicamente tanto a necessidade quanto a intensidade da intervenção ao rastrear os estados internos dos LLMs durante a geração, considerando tanto a pergunta quanto o conteúdo gerado. Como intervir após detectar um desvio do comportamento desejado muitas vezes é tarde demais, propomos ainda o mecanismo de retrocesso para corrigir os tokens desviados e direcionar os LLMs para o comportamento desejado. Experimentos extensivos no conjunto de dados TruthfulQA e em seis conjuntos de dados de múltipla escolha demonstram que nosso método supera as abordagens basais. Nosso código será disponibilizado em https://github.com/gjw185/FASB.

English

Large language models (LLMs) have achieved remarkable performance across many generation tasks. Nevertheless, effectively aligning them with desired behaviors remains a significant challenge. Activation steering is an effective and cost-efficient approach that directly modifies the activations of LLMs during the inference stage, aligning their responses with the desired behaviors and avoiding the high cost of fine-tuning. Existing methods typically indiscriminately intervene to all generations or rely solely on the question to determine intervention, which limits the accurate assessment of the intervention strength. To this end, we propose the Flexible Activation Steering with Backtracking (FASB) framework, which dynamically determines both the necessity and strength of intervention by tracking the internal states of the LLMs during generation, considering both the question and the generated content. Since intervening after detecting a deviation from the desired behavior is often too late, we further propose the backtracking mechanism to correct the deviated tokens and steer the LLMs toward the desired behavior. Extensive experiments on the TruthfulQA dataset and six multiple-choice datasets demonstrate that our method outperforms baselines. Our code will be released at https://github.com/gjw185/FASB.