Het blootleggen van veiligheidskwetsbaarheden van grote taalmodelle

Unveiling Safety Vulnerabilities of Large Language Models

November 7, 2023

Auteurs: George Kour, Marcel Zalmanovici, Naama Zwerdling, Esther Goldbraich, Ora Nova Fandina, Ateret Anaby-Tavor, Orna Raz, Eitan Farchi

cs.AI

Samenvatting

Naarmate grote taalmodellen steeds vaker worden gebruikt, vormen hun mogelijke schadelijke of ongepaste reacties een bron van zorg. Dit artikel introduceert een unieke dataset met tegenvoorbeelden in de vorm van vragen, die we AttaQ noemen, ontworpen om dergelijke schadelijke of ongepaste reacties uit te lokken. We beoordelen de effectiviteit van onze dataset door de kwetsbaarheden van verschillende modellen te analyseren wanneer ze hieraan worden blootgesteld. Daarnaast introduceren we een nieuwe automatische aanpak voor het identificeren en benoemen van kwetsbare semantische regio's - semantische invoergebieden waarvoor het model waarschijnlijk schadelijke uitvoer produceert. Dit wordt bereikt door de toepassing van gespecialiseerde clusteringtechnieken die zowel de semantische gelijkenis van de invoeraanvallen als de schadelijkheid van de reacties van het model in overweging nemen. Het automatisch identificeren van kwetsbare semantische regio's verbetert de evaluatie van modelzwakheden, wat gerichte verbeteringen aan de veiligheidsmechanismen en de algehele betrouwbaarheid ervan vergemakkelijkt.

English

As large language models become more prevalent, their possible harmful or inappropriate responses are a cause for concern. This paper introduces a unique dataset containing adversarial examples in the form of questions, which we call AttaQ, designed to provoke such harmful or inappropriate responses. We assess the efficacy of our dataset by analyzing the vulnerabilities of various models when subjected to it. Additionally, we introduce a novel automatic approach for identifying and naming vulnerable semantic regions - input semantic areas for which the model is likely to produce harmful outputs. This is achieved through the application of specialized clustering techniques that consider both the semantic similarity of the input attacks and the harmfulness of the model's responses. Automatically identifying vulnerable semantic regions enhances the evaluation of model weaknesses, facilitating targeted improvements to its safety mechanisms and overall reliability.