必要時に制御する：バックトラッキングを用いた大規模言語モデルの柔軟な制御
Steering When Necessary: Flexible Steering Large Language Models with Backtracking
August 25, 2025
著者: Jinwei Gan, Zifeng Cheng, Zhiwei Jiang, Cong Wang, Yafeng Yin, Xiang Luo, Yuchen Fu, Qing Gu
cs.AI
要旨
大規模言語モデル（LLM）は、多くの生成タスクにおいて顕著な性能を達成しています。しかしながら、それらを所望の振る舞いと効果的に整合させることは依然として重要な課題です。アクティベーション・ステアリングは、推論段階でLLMのアクティベーションを直接修正し、所望の振る舞いと応答を整合させる、効果的かつコスト効率の高いアプローチであり、ファインチューニングの高コストを回避します。既存の手法は通常、すべての生成に対して無差別に介入するか、質問のみに依存して介入を決定するため、介入強度の正確な評価が制限されます。この問題に対処するため、我々は「バックトラッキングを伴う柔軟なアクティベーション・ステアリング（FASB）」フレームワークを提案します。このフレームワークは、生成中のLLMの内部状態を追跡し、質問と生成内容の両方を考慮して、介入の必要性と強度を動的に決定します。所望の振る舞いからの逸脱を検出した後に介入するのでは遅すぎることが多いため、逸脱したトークンを修正し、LLMを所望の振る舞いに向けて導くバックトラッキング機構をさらに提案します。TruthfulQAデータセットと6つの多肢選択データセットを用いた広範な実験により、我々の手法がベースラインを上回ることを実証しました。コードはhttps://github.com/gjw185/FASBで公開予定です。
English
Large language models (LLMs) have achieved remarkable performance across many
generation tasks. Nevertheless, effectively aligning them with desired
behaviors remains a significant challenge. Activation steering is an effective
and cost-efficient approach that directly modifies the activations of LLMs
during the inference stage, aligning their responses with the desired behaviors
and avoiding the high cost of fine-tuning. Existing methods typically
indiscriminately intervene to all generations or rely solely on the question to
determine intervention, which limits the accurate assessment of the
intervention strength. To this end, we propose the Flexible Activation Steering
with Backtracking (FASB) framework, which dynamically determines both the
necessity and strength of intervention by tracking the internal states of the
LLMs during generation, considering both the question and the generated
content. Since intervening after detecting a deviation from the desired
behavior is often too late, we further propose the backtracking mechanism to
correct the deviated tokens and steer the LLMs toward the desired behavior.
Extensive experiments on the TruthfulQA dataset and six multiple-choice
datasets demonstrate that our method outperforms baselines. Our code will be
released at https://github.com/gjw185/FASB.