Aufdeckung von Sicherheitslücken in großen Sprachmodellen

Unveiling Safety Vulnerabilities of Large Language Models

November 7, 2023

Autoren: George Kour, Marcel Zalmanovici, Naama Zwerdling, Esther Goldbraich, Ora Nova Fandina, Ateret Anaby-Tavor, Orna Raz, Eitan Farchi

cs.AI

Zusammenfassung

Da große Sprachmodelle immer verbreiteter werden, sind ihre potenziell schädlichen oder unangemessenen Antworten ein Grund zur Sorge. Dieses Papier stellt einen einzigartigen Datensatz vor, der adversariale Beispiele in Form von Fragen enthält, die wir AttaQ nennen und die darauf abzielen, solche schädlichen oder unangemessenen Antworten zu provozieren. Wir bewerten die Wirksamkeit unseres Datensatzes, indem wir die Anfälligkeiten verschiedener Modelle analysieren, wenn sie diesem ausgesetzt sind. Zusätzlich führen wir einen neuartigen automatischen Ansatz zur Identifizierung und Benennung von vulnerablen semantischen Regionen ein – Eingabesemantikbereiche, für die das Modell wahrscheinlich schädliche Ausgaben erzeugt. Dies wird durch die Anwendung spezialisierter Clustering-Techniken erreicht, die sowohl die semantische Ähnlichkeit der Eingriffsangriffe als auch die Schädlichkeit der Modellantworten berücksichtigen. Die automatische Identifizierung vulnerabler semantischer Regionen verbessert die Bewertung von Modellschwächen und erleichtert gezielte Verbesserungen der Sicherheitsmechanismen und der Gesamtzuverlässigkeit des Modells.

English

As large language models become more prevalent, their possible harmful or inappropriate responses are a cause for concern. This paper introduces a unique dataset containing adversarial examples in the form of questions, which we call AttaQ, designed to provoke such harmful or inappropriate responses. We assess the efficacy of our dataset by analyzing the vulnerabilities of various models when subjected to it. Additionally, we introduce a novel automatic approach for identifying and naming vulnerable semantic regions - input semantic areas for which the model is likely to produce harmful outputs. This is achieved through the application of specialized clustering techniques that consider both the semantic similarity of the input attacks and the harmfulness of the model's responses. Automatically identifying vulnerable semantic regions enhances the evaluation of model weaknesses, facilitating targeted improvements to its safety mechanisms and overall reliability.