Modelchirurgie: Het Gedrag van LLM's Aanpassen via Eenvoudige Parameterbewerking

Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing

July 11, 2024

Auteurs: Huanqian Wang, Yang Yue, Rui Lu, Jingxin Shi, Andrew Zhao, Shenzhi Wang, Shiji Song, Gao Huang

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben groot potentieel getoond als algemene assistenten, waarbij ze krachtige taakbegrip en probleemoplossende vaardigheden demonstreren. Om LLM's als AI-assistenten in te zetten, is het cruciaal dat deze modellen gewenste gedragskenmerken vertonen, zoals niet-toxiciteit en weerbaarheid tegen jailbreak-pogingen. Huidige methoden voor detoxificatie of het voorkomen van jailbreaking omvatten meestal Supervised Fine-Tuning (SFT) of Reinforcement Learning from Human Feedback (RLHF), wat het finetunen van miljarden parameters vereist via gradient descent met aanzienlijke rekenkosten. Bovendien kunnen modellen die via SFT en RLHF zijn aangepast, afwijken van de vooraf getrainde modellen, wat mogelijk leidt tot een verslechtering van de fundamentele LLM-capaciteiten. In dit artikel observeren we dat, verrassend genoeg, het direct bewerken van een kleine subset van parameters specifieke gedragingen van LLM's effectief kan moduleren, zoals detoxificatie en weerstand tegen jailbreaking. Specifiek gebruiken we voor een gedrag dat we willen vermijden een lineaire classifier, die we de gedragsprobe noemen, om binaire gedragslabels te classificeren binnen de verborgen toestandsruimte van het LLM. Met behulp van deze probe introduceren we een algoritme om een kritieke subset van LLM-parameters te identificeren die significant invloed hebben op dit doelgedrag. Vervolgens bewerken we deze geselecteerde parameters direct door ze te verschuiven in de richting van de gedragsprobe. Zo'n directe parameterbewerkingsmethode vereist alleen rekenbronnen op inferentieniveau. Experimenten tonen aan dat in de representatieve detoxificatietaak onze aanpak reducties tot 90,0\% in toxiciteit bereikt op de RealToxicityPrompts-dataset en 49,2\% op ToxiGen, terwijl de algemene capaciteiten van het LLM op gebieden zoals gezond verstand, vraagbeantwoording en wiskunde behouden blijven. Onze code is beschikbaar op https://github.com/lucywang720/model-surgery.

English

Large Language Models (LLMs) have demonstrated great potential as generalist assistants, showcasing powerful task understanding and problem-solving capabilities. To deploy LLMs as AI assistants, it is crucial that these models exhibit desirable behavioral traits, such as non-toxicity and resilience against jailbreak attempts. Current methods for detoxification or preventing jailbreaking usually involve Supervised Fine-Tuning (SFT) or Reinforcement Learning from Human Feedback (RLHF), which requires finetuning billions of parameters through gradient descent with substantial computation cost. Furthermore, models modified through SFT and RLHF may deviate from the pretrained models, potentially leading to a degradation in foundational LLM capabilities. In this paper, we observe that surprisingly, directly editing a small subset of parameters can effectively modulate specific behaviors of LLMs, such as detoxification and resistance to jailbreaking. Specifically, for a behavior that we aim to avoid, we employ a linear classifier, which we term the behavior probe, to classify binary behavior labels within the hidden state space of the LLM. Using this probe, we introduce an algorithm to identify a critical subset of LLM parameters that significantly influence this targeted behavior. Then we directly edit these selected parameters by shifting them towards the behavior probe. Such a direct parameter editing method necessitates only inference-level computational resources. Experiments demonstrate that in the representative detoxification task, our approach achieves reductions of up to 90.0\% in toxicity on the RealToxicityPrompts dataset and 49.2\% on ToxiGen, while maintaining the LLM's general capabilities in areas such as common sense, question answering, and mathematics. Our code is available at https://github.com/lucywang720/model-surgery.