Révéler les vulnérabilités de sécurité des modèles de langage de grande taille

Unveiling Safety Vulnerabilities of Large Language Models

November 7, 2023

Auteurs: George Kour, Marcel Zalmanovici, Naama Zwerdling, Esther Goldbraich, Ora Nova Fandina, Ateret Anaby-Tavor, Orna Raz, Eitan Farchi

cs.AI

Résumé

Alors que les grands modèles de langage deviennent de plus en plus répandus, leurs réponses potentiellement nuisibles ou inappropriées suscitent des inquiétudes. Cet article présente un ensemble de données unique contenant des exemples adverses sous forme de questions, que nous appelons AttaQ, conçu pour provoquer de telles réponses nuisibles ou inappropriées. Nous évaluons l'efficacité de notre ensemble de données en analysant les vulnérabilités de divers modèles lorsqu'ils y sont soumis. De plus, nous introduisons une nouvelle approche automatique pour identifier et nommer les régions sémantiques vulnérables - des zones sémantiques d'entrée pour lesquelles le modèle est susceptible de produire des sorties nuisibles. Cela est réalisé grâce à l'application de techniques de clustering spécialisées qui prennent en compte à la fois la similarité sémantique des attaques d'entrée et la nocivité des réponses du modèle. L'identification automatique des régions sémantiques vulnérables améliore l'évaluation des faiblesses du modèle, facilitant ainsi des améliorations ciblées de ses mécanismes de sécurité et de sa fiabilité globale.

English

As large language models become more prevalent, their possible harmful or inappropriate responses are a cause for concern. This paper introduces a unique dataset containing adversarial examples in the form of questions, which we call AttaQ, designed to provoke such harmful or inappropriate responses. We assess the efficacy of our dataset by analyzing the vulnerabilities of various models when subjected to it. Additionally, we introduce a novel automatic approach for identifying and naming vulnerable semantic regions - input semantic areas for which the model is likely to produce harmful outputs. This is achieved through the application of specialized clustering techniques that consider both the semantic similarity of the input attacks and the harmfulness of the model's responses. Automatically identifying vulnerable semantic regions enhances the evaluation of model weaknesses, facilitating targeted improvements to its safety mechanisms and overall reliability.