AdvPrompter: Быстрая Адаптивная Адверсарная Подсказка для LLMs

AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs

April 21, 2024

Авторы: Anselm Paulus, Arman Zharmagambetov, Chuan Guo, Brandon Amos, Yuandong Tian

cs.AI

Аннотация

Недавно крупные языковые модели (Large Language Models, LLMs) достигли значительных успехов, однако они уязвимы к определенным атакам на обход защиты, которые приводят к созданию неприемлемого или вредоносного контента. Ручное тестирование на проникновение требует обнаружения атакующих подсказок, вызывающих такие атаки на обход защиты, например, путем добавления суффикса к данной инструкции, что является неэффективным и затратным по времени. С другой стороны, автоматическое создание атакующих подсказок часто приводит к семантически бессмысленным атакам, которые легко обнаруживаются фильтрами на основе перплексии, могут потребовать информацию о градиенте от целевой LLM или плохо масштабируются из-за затратных по времени дискретных оптимизационных процессов в пространстве токенов. В данной статье мы представляем новый метод, который использует другую LLM, называемую AdvPrompter, для генерации читаемых человеком атакующих подсказок за секунды, что в 800 раз быстрее, чем существующие подходы на основе оптимизации. Мы обучаем AdvPrompter с использованием нового алгоритма, который не требует доступа к градиентам TargetLLM. Этот процесс чередует два шага: (1) генерация высококачественных целевых атакующих суффиксов путем оптимизации прогнозов AdvPrompter и (2) низкоранговая донастройка AdvPrompter сгенерированными атакующими суффиксами. Обученный AdvPrompter генерирует суффиксы, скрывающие входную инструкцию, не изменяя ее смысла, таким образом, TargetLLM соблазняется дать вредоносный ответ. Экспериментальные результаты на популярных открытых TargetLLMs показывают передовые результаты на наборе данных AdvBench, которые также переносятся на закрытые черные ящики API LLM. Кроме того, мы демонстрируем, что путем донастройки на синтетическом наборе данных, сгенерированном AdvPrompter, LLM могут быть сделаны более устойчивыми к атакам на обход защиты, сохраняя при этом производительность, т.е. высокие показатели MMLU.

English

While recently Large Language Models (LLMs) have achieved remarkable successes, they are vulnerable to certain jailbreaking attacks that lead to generation of inappropriate or harmful content. Manual red-teaming requires finding adversarial prompts that cause such jailbreaking, e.g. by appending a suffix to a given instruction, which is inefficient and time-consuming. On the other hand, automatic adversarial prompt generation often leads to semantically meaningless attacks that can easily be detected by perplexity-based filters, may require gradient information from the TargetLLM, or do not scale well due to time-consuming discrete optimization processes over the token space. In this paper, we present a novel method that uses another LLM, called the AdvPrompter, to generate human-readable adversarial prompts in seconds, sim800times faster than existing optimization-based approaches. We train the AdvPrompter using a novel algorithm that does not require access to the gradients of the TargetLLM. This process alternates between two steps: (1) generating high-quality target adversarial suffixes by optimizing the AdvPrompter predictions, and (2) low-rank fine-tuning of the AdvPrompter with the generated adversarial suffixes. The trained AdvPrompter generates suffixes that veil the input instruction without changing its meaning, such that the TargetLLM is lured to give a harmful response. Experimental results on popular open source TargetLLMs show state-of-the-art results on the AdvBench dataset, that also transfer to closed-source black-box LLM APIs. Further, we demonstrate that by fine-tuning on a synthetic dataset generated by AdvPrompter, LLMs can be made more robust against jailbreaking attacks while maintaining performance, i.e. high MMLU scores.