Svelare le Vulnerabilità di Sicurezza dei Modelli Linguistici di Grande Dimensione

Unveiling Safety Vulnerabilities of Large Language Models

November 7, 2023

Autori: George Kour, Marcel Zalmanovici, Naama Zwerdling, Esther Goldbraich, Ora Nova Fandina, Ateret Anaby-Tavor, Orna Raz, Eitan Farchi

cs.AI

Abstract

Man mano che i modelli linguistici di grandi dimensioni diventano più diffusi, le loro possibili risposte dannose o inappropriate rappresentano un motivo di preoccupazione. Questo articolo introduce un dataset unico contenente esempi avversari sotto forma di domande, che chiamiamo AttaQ, progettato per provocare tali risposte dannose o inappropriate. Valutiamo l'efficacia del nostro dataset analizzando le vulnerabilità di vari modelli quando sottoposti a esso. Inoltre, introduciamo un nuovo approccio automatico per identificare e denominare regioni semantiche vulnerabili - aree semantiche di input per le quali il modello è probabile che produca output dannosi. Ciò è ottenuto attraverso l'applicazione di tecniche di clustering specializzate che considerano sia la similarità semantica degli attacchi di input sia la dannosità delle risposte del modello. L'identificazione automatica delle regioni semantiche vulnerabili migliora la valutazione delle debolezze del modello, facilitando miglioramenti mirati ai suoi meccanismi di sicurezza e alla sua affidabilità complessiva.

English

As large language models become more prevalent, their possible harmful or inappropriate responses are a cause for concern. This paper introduces a unique dataset containing adversarial examples in the form of questions, which we call AttaQ, designed to provoke such harmful or inappropriate responses. We assess the efficacy of our dataset by analyzing the vulnerabilities of various models when subjected to it. Additionally, we introduce a novel automatic approach for identifying and naming vulnerable semantic regions - input semantic areas for which the model is likely to produce harmful outputs. This is achieved through the application of specialized clustering techniques that consider both the semantic similarity of the input attacks and the harmfulness of the model's responses. Automatically identifying vulnerable semantic regions enhances the evaluation of model weaknesses, facilitating targeted improvements to its safety mechanisms and overall reliability.