LookAheadチューニング：部分回答プレビューによる安全な言語モデル

LookAhead Tuning: Safer Language Models via Partial Answer Previews

March 24, 2025

著者: Kangwei Liu, Mengru Wang, Yujie Luo, Lin Yuan, Mengshu Sun, Ningyu Zhang, Lei Liang, Zhiqiang Zhang, Jun Zhou, Huajun Chen

cs.AI

要旨

ファインチューニングは大規模言語モデル（LLM）を特定のドメインに適応させることを可能にしますが、しばしばそれまでに確立された安全性の整合性を損なうことがあります。ファインチューニング中のモデル安全性の低下を緩和するために、我々はLookAhead Tuningを導入します。これは、部分的な回答プレフィックスをプレビューすることでトレーニングデータを修正する、シンプルで低リソースかつ効果的な2つのデータ駆動型手法から構成されています。両手法とも、初期トークン分布への摂動を最小限に抑えることで、モデルの内在的な安全性メカニズムを維持することを目指しています。包括的な実験により、LookAhead Tuningが下流タスクでの堅牢な性能を犠牲にすることなく、モデル安全性を効果的に維持することが実証されました。我々の知見は、LookAhead TuningをLLMの安全かつ効果的な適応のための信頼性が高く効率的なソリューションとして位置づけています。コードはhttps://github.com/zjunlp/LookAheadTuningで公開されています。

English

Fine-tuning enables large language models (LLMs) to adapt to specific domains, but often undermines their previously established safety alignment. To mitigate the degradation of model safety during fine-tuning, we introduce LookAhead Tuning, which comprises two simple, low-resource, and effective data-driven methods that modify training data by previewing partial answer prefixes. Both methods aim to preserve the model's inherent safety mechanisms by minimizing perturbations to initial token distributions. Comprehensive experiments demonstrate that LookAhead Tuning effectively maintains model safety without sacrificing robust performance on downstream tasks. Our findings position LookAhead Tuning as a reliable and efficient solution for the safe and effective adaptation of LLMs. Code is released at https://github.com/zjunlp/LookAheadTuning.