Arithmétique de sécurité : Un cadre pour l'alignement de sécurité en phase de test des modèles de langage par le pilotage des paramètres et des activations

Safety Arithmetic: A Framework for Test-time Safety Alignment of Language Models by Steering Parameters and Activations

June 17, 2024

Auteurs: Rima Hazra, Sayan Layek, Somnath Banerjee, Soujanya Poria

cs.AI

Résumé

Garantir l'alignement sécurisé des grands modèles de langage (LLM) avec les valeurs humaines est crucial à mesure qu'ils deviennent essentiels dans des applications comme la traduction et les systèmes de questions-réponses. Les méthodes actuelles d'alignement peinent à gérer les intentions dynamiques des utilisateurs et les objectifs complexes, rendant les modèles vulnérables à la génération de contenus nuisibles. Nous proposons Safety Arithmetic, un cadre sans entraînement qui améliore la sécurité des LLM dans différents scénarios : modèles de base, modèles affinés de manière supervisée (SFT) et modèles modifiés. Safety Arithmetic inclut la Suppression des Directions Nuisibles pour éviter les contenus dangereux et l'Alignement Sécuritaire pour promouvoir des réponses sûres. De plus, nous présentons NoIntentEdit, un ensemble de données mettant en lumière des modifications qui pourraient compromettre la sécurité du modèle si elles étaient utilisées de manière involontaire. Nos expériences montrent que Safety Arithmetic améliore significativement les mesures de sécurité, réduit la sur-sécurité et préserve l'utilité du modèle, surpassant les méthodes existantes pour garantir une génération de contenu sécurisé.

English

Ensuring the safe alignment of large language models (LLMs) with human values is critical as they become integral to applications like translation and question answering. Current alignment methods struggle with dynamic user intentions and complex objectives, making models vulnerable to generating harmful content. We propose Safety Arithmetic, a training-free framework enhancing LLM safety across different scenarios: Base models, Supervised fine-tuned models (SFT), and Edited models. Safety Arithmetic involves Harm Direction Removal to avoid harmful content and Safety Alignment to promote safe responses. Additionally, we present NoIntentEdit, a dataset highlighting edit instances that could compromise model safety if used unintentionally. Our experiments show that Safety Arithmetic significantly improves safety measures, reduces over-safety, and maintains model utility, outperforming existing methods in ensuring safe content generation.