Chirurgie de Modèle : Modulation du Comportement des LLM par Édition Simple de Paramètres

Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing

July 11, 2024

Auteurs: Huanqian Wang, Yang Yue, Rui Lu, Jingxin Shi, Andrew Zhao, Shenzhi Wang, Shiji Song, Gao Huang

cs.AI

Résumé

Les grands modèles de langage (LLM) ont démontré un potentiel considérable en tant qu'assistants généralistes, révélant une compréhension puissante des tâches et des capacités de résolution de problèmes. Pour déployer les LLM en tant qu'assistants IA, il est crucial que ces modèles présentent des traits comportementaux souhaitables, tels que la non-toxicité et la résilience face aux tentatives de contournement (jailbreaking). Les méthodes actuelles de détoxification ou de prévention du jailbreaking impliquent généralement un ajustement fin supervisé (SFT) ou un apprentissage par renforcement à partir de retours humains (RLHF), ce qui nécessite l'ajustement fin de milliards de paramètres via la descente de gradient avec un coût de calcul substantiel. De plus, les modèles modifiés par SFT et RLHF peuvent s'écarter des modèles pré-entraînés, entraînant potentiellement une dégradation des capacités fondamentales des LLM. Dans cet article, nous observons que, de manière surprenante, la modification directe d'un petit sous-ensemble de paramètres peut efficacement moduler des comportements spécifiques des LLM, tels que la détoxification et la résistance au jailbreaking. Plus précisément, pour un comportement que nous souhaitons éviter, nous utilisons un classifieur linéaire, que nous appelons la sonde comportementale, pour classer des étiquettes comportementales binaires dans l'espace des états cachés du LLM. En utilisant cette sonde, nous introduisons un algorithme pour identifier un sous-ensemble critique de paramètres du LLM qui influencent significativement ce comportement ciblé. Ensuite, nous modifions directement ces paramètres sélectionnés en les déplaçant vers la sonde comportementale. Une telle méthode de modification directe des paramètres ne nécessite que des ressources de calcul au niveau de l'inférence. Les expériences démontrent que dans la tâche représentative de détoxification, notre approche permet de réduire jusqu'à 90,0 % la toxicité sur le jeu de données RealToxicityPrompts et 49,2 % sur ToxiGen, tout en conservant les capacités générales du LLM dans des domaines tels que le bon sens, la réponse aux questions et les mathématiques. Notre code est disponible à l'adresse https://github.com/lucywang720/model-surgery.

English

Large Language Models (LLMs) have demonstrated great potential as generalist assistants, showcasing powerful task understanding and problem-solving capabilities. To deploy LLMs as AI assistants, it is crucial that these models exhibit desirable behavioral traits, such as non-toxicity and resilience against jailbreak attempts. Current methods for detoxification or preventing jailbreaking usually involve Supervised Fine-Tuning (SFT) or Reinforcement Learning from Human Feedback (RLHF), which requires finetuning billions of parameters through gradient descent with substantial computation cost. Furthermore, models modified through SFT and RLHF may deviate from the pretrained models, potentially leading to a degradation in foundational LLM capabilities. In this paper, we observe that surprisingly, directly editing a small subset of parameters can effectively modulate specific behaviors of LLMs, such as detoxification and resistance to jailbreaking. Specifically, for a behavior that we aim to avoid, we employ a linear classifier, which we term the behavior probe, to classify binary behavior labels within the hidden state space of the LLM. Using this probe, we introduce an algorithm to identify a critical subset of LLM parameters that significantly influence this targeted behavior. Then we directly edit these selected parameters by shifting them towards the behavior probe. Such a direct parameter editing method necessitates only inference-level computational resources. Experiments demonstrate that in the representative detoxification task, our approach achieves reductions of up to 90.0\% in toxicity on the RealToxicityPrompts dataset and 49.2\% on ToxiGen, while maintaining the LLM's general capabilities in areas such as common sense, question answering, and mathematics. Our code is available at https://github.com/lucywang720/model-surgery.