Sicherheitsarithmetik: Ein Rahmenwerk für die Sicherheitsausrichtung von Sprachmodellen zur Testzeit durch Lenkung von Parametern und Aktivierungen

Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations

June 17, 2024

Autoren: Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria

cs.AI

Zusammenfassung

Die sichere Ausrichtung großer Sprachmodelle (LLMs) mit menschlichen Werten ist entscheidend, da sie integraler Bestandteil von Anwendungen wie Übersetzung und Fragebeantwortung werden. Aktuelle Ausrichtungsmethoden haben Schwierigkeiten mit dynamischen Benutzerabsichten und komplexen Zielen, was Modelle anfällig macht für die Erzeugung von schädlichen Inhalten. Wir schlagen Safety Arithmetic vor, ein trainingsfreies Framework zur Verbesserung der Sicherheit von LLMs in verschiedenen Szenarien: Basismodelle, überwachte feinabgestimmte Modelle (SFT) und bearbeitete Modelle. Safety Arithmetic beinhaltet Harm Direction Removal, um schädliche Inhalte zu vermeiden, und Safety Alignment, um sichere Antworten zu fördern. Darüber hinaus präsentieren wir NoIntentEdit, einen Datensatz, der Edit-Instanzen hervorhebt, die die Modellsicherheit gefährden könnten, wenn sie unbeabsichtigt verwendet werden. Unsere Experimente zeigen, dass Safety Arithmetic die Sicherheitsmaßnahmen signifikant verbessert, Über-Sicherheit reduziert und die Modellnutzen aufrechterhält, wodurch bestehende Methoden bei der Sicherstellung der sicheren Inhaltsgenerierung übertroffen werden.

English

Ensuring the safe alignment of large language models (LLMs) with human values is critical as they become integral to applications like translation and question answering. Current alignment methods struggle with dynamic user intentions and complex objectives, making models vulnerable to generating harmful content. We propose Safety Arithmetic, a training-free framework enhancing LLM safety across different scenarios: Base models, Supervised fine-tuned models (SFT), and Edited models. Safety Arithmetic involves Harm Direction Removal to avoid harmful content and Safety Alignment to promote safe responses. Additionally, we present NoIntentEdit, a dataset highlighting edit instances that could compromise model safety if used unintentionally. Our experiments show that Safety Arithmetic significantly improves safety measures, reduces over-safety, and maintains model utility, outperforming existing methods in ensuring safe content generation.