Alignement de sécurité contrôlable : Adaptation en temps d'inférence aux diverses exigences de sécurité

Controllable Safety Alignment: Inference-Time Adaptation to Diverse Safety Requirements

October 11, 2024

Auteurs: Jingyu Zhang, Ahmed Elgohary, Ahmed Magooda, Daniel Khashabi, Benjamin Van Durme

cs.AI

Résumé

Le paradigme actuel pour l'alignement de la sécurité des grands modèles de langage (LLM) suit une approche universelle : le modèle refuse d'interagir avec tout contenu jugé non sécurisé par le fournisseur du modèle. Cette approche manque de flexibilité face aux normes sociales variables à travers les cultures et les régions. De plus, les utilisateurs peuvent avoir des besoins de sécurité divers, rendant un modèle avec des normes de sécurité statiques trop restrictif pour être utile, ainsi que trop coûteux à réaligner. Nous proposons l'Alignement de Sécurité Contrôlable (CoSA), un cadre conçu pour adapter les modèles aux diverses exigences de sécurité sans nécessiter de re-entraînement. Au lieu d'aligner un modèle fixe, nous alignons les modèles pour suivre des configurations de sécurité - des descriptions en langage naturel libre des comportements de sécurité souhaités - qui sont fournies dans le cadre de la demande système. Pour ajuster le comportement de sécurité du modèle, les utilisateurs autorisés n'ont qu'à modifier de telles configurations de sécurité au moment de l'inférence. Pour permettre cela, nous proposons CoSAlign, une méthode centrée sur les données pour aligner les LLMs afin de s'adapter facilement à diverses configurations de sécurité. De plus, nous concevons un nouveau protocole d'évaluation de la contrôlabilité qui prend en compte à la fois l'utilité et la sécurité configurée, les résumant en un CoSA-Score, et nous construisons CoSApien, un banc d'essai rédigé par des humains qui se compose de cas d'utilisation de LLM du monde réel avec des exigences de sécurité diverses et des demandes d'évaluation correspondantes. Nous montrons que CoSAlign entraîne des gains substantiels en termes de contrôlabilité par rapport à des références solides, y compris l'alignement en contexte. Notre cadre encourage une meilleure représentation et adaptation aux valeurs humaines pluralistes dans les LLMs, augmentant ainsi leur praticité.

English

The current paradigm for safety alignment of large language models (LLMs) follows a one-size-fits-all approach: the model refuses to interact with any content deemed unsafe by the model provider. This approach lacks flexibility in the face of varying social norms across cultures and regions. In addition, users may have diverse safety needs, making a model with static safety standards too restrictive to be useful, as well as too costly to be re-aligned. We propose Controllable Safety Alignment (CoSA), a framework designed to adapt models to diverse safety requirements without re-training. Instead of aligning a fixed model, we align models to follow safety configs -- free-form natural language descriptions of the desired safety behaviors -- that are provided as part of the system prompt. To adjust model safety behavior, authorized users only need to modify such safety configs at inference time. To enable that, we propose CoSAlign, a data-centric method for aligning LLMs to easily adapt to diverse safety configs. Furthermore, we devise a novel controllability evaluation protocol that considers both helpfulness and configured safety, summarizing them into CoSA-Score, and construct CoSApien, a human-authored benchmark that consists of real-world LLM use cases with diverse safety requirements and corresponding evaluation prompts. We show that CoSAlign leads to substantial gains of controllability over strong baselines including in-context alignment. Our framework encourages better representation and adaptation to pluralistic human values in LLMs, and thereby increasing their practicality.