Выявление уязвимостей безопасности крупных языковых моделей

Unveiling Safety Vulnerabilities of Large Language Models

November 7, 2023

Авторы: George Kour, Marcel Zalmanovici, Naama Zwerdling, Esther Goldbraich, Ora Nova Fandina, Ateret Anaby-Tavor, Orna Raz, Eitan Farchi

cs.AI

Аннотация

По мере того как крупные языковые модели становятся все более распространенными, их потенциально вредные или неуместные ответы вызывают обеспокоенность. В данной статье представлен уникальный набор данных, содержащий адверсарные примеры в форме вопросов, который мы называем AttaQ, разработанный для провоцирования таких вредных или неуместных ответов. Мы оцениваем эффективность нашего набора данных, анализируя уязвимости различных моделей при его использовании. Кроме того, мы предлагаем новый автоматизированный подход для выявления и обозначения уязвимых семантических областей — областей входных данных, для которых модель с высокой вероятностью генерирует вредоносные ответы. Это достигается с помощью специализированных методов кластеризации, учитывающих как семантическое сходство входных атак, так и степень вредоносности ответов модели. Автоматическое выявление уязвимых семантических областей улучшает оценку слабых мест модели, способствуя целенаправленному улучшению ее механизмов безопасности и общей надежности.

English

As large language models become more prevalent, their possible harmful or inappropriate responses are a cause for concern. This paper introduces a unique dataset containing adversarial examples in the form of questions, which we call AttaQ, designed to provoke such harmful or inappropriate responses. We assess the efficacy of our dataset by analyzing the vulnerabilities of various models when subjected to it. Additionally, we introduce a novel automatic approach for identifying and naming vulnerable semantic regions - input semantic areas for which the model is likely to produce harmful outputs. This is achieved through the application of specialized clustering techniques that consider both the semantic similarity of the input attacks and the harmfulness of the model's responses. Automatically identifying vulnerable semantic regions enhances the evaluation of model weaknesses, facilitating targeted improvements to its safety mechanisms and overall reliability.