Dirigir cuando sea necesario: Dirección flexible de modelos de lenguaje extenso con retroceso

Steering When Necessary: Flexible Steering Large Language Models with Backtracking

August 25, 2025

Autores: Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han logrado un rendimiento notable en numerosas tareas de generación. Sin embargo, alinearlos de manera efectiva con los comportamientos deseados sigue siendo un desafío significativo. La dirección de activaciones es un enfoque eficaz y rentable que modifica directamente las activaciones de los LLMs durante la etapa de inferencia, alineando sus respuestas con los comportamientos deseados y evitando el alto costo del ajuste fino. Los métodos existentes suelen intervenir de manera indiscriminada en todas las generaciones o dependen únicamente de la pregunta para determinar la intervención, lo que limita la evaluación precisa de la intensidad de la intervención. Para abordar esto, proponemos el marco de Dirección Flexible de Activaciones con Retroceso (FASB, por sus siglas en inglés), que determina dinámicamente tanto la necesidad como la intensidad de la intervención al rastrear los estados internos de los LLMs durante la generación, considerando tanto la pregunta como el contenido generado. Dado que intervenir después de detectar una desviación del comportamiento deseado suele ser demasiado tarde, proponemos además el mecanismo de retroceso para corregir los tokens desviados y guiar a los LLMs hacia el comportamiento deseado. Experimentos exhaustivos en el conjunto de datos TruthfulQA y seis conjuntos de datos de opción múltiple demuestran que nuestro método supera a los baselines. Nuestro código se publicará en https://github.com/gjw185/FASB.

English

Large language models (LLMs) have achieved remarkable performance across many generation tasks. Nevertheless, effectively aligning them with desired behaviors remains a significant challenge. Activation steering is an effective and cost-efficient approach that directly modifies the activations of LLMs during the inference stage, aligning their responses with the desired behaviors and avoiding the high cost of fine-tuning. Existing methods typically indiscriminately intervene to all generations or rely solely on the question to determine intervention, which limits the accurate assessment of the intervention strength. To this end, we propose the Flexible Activation Steering with Backtracking (FASB) framework, which dynamically determines both the necessity and strength of intervention by tracking the internal states of the LLMs during generation, considering both the question and the generated content. Since intervening after detecting a deviation from the desired behavior is often too late, we further propose the backtracking mechanism to correct the deviated tokens and steer the LLMs toward the desired behavior. Extensive experiments on the TruthfulQA dataset and six multiple-choice datasets demonstrate that our method outperforms baselines. Our code will be released at https://github.com/gjw185/FASB.