AdvPrompter: Snelle Adaptieve Adversariële Prompting voor LLM's

AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs

April 21, 2024

Auteurs: Anselm Paulus, Arman Zharmagambetov, Chuan Guo, Brandon Amos, Yuandong Tian

cs.AI

Samenvatting

Hoewel Large Language Models (LLM's) recentelijk opmerkelijke successen hebben geboekt, zijn ze kwetsbaar voor bepaalde jailbreaking-aanvallen die leiden tot het genereren van ongepaste of schadelijke inhoud. Handmatige red-teaming vereist het vinden van adversariale prompts die dergelijke jailbreaking veroorzaken, bijvoorbeeld door een achtervoegsel aan een gegeven instructie toe te voegen, wat inefficiënt en tijdrovend is. Aan de andere kant leidt automatische generatie van adversariale prompts vaak tot semantisch betekenisloze aanvallen die gemakkelijk kunnen worden gedetecteerd door perplexiteit-gebaseerde filters, mogelijk gradientinformatie van de TargetLLM vereisen, of niet goed schalen vanwege tijdrovende discrete optimalisatieprocessen over de tokenruimte. In dit artikel presenteren we een nieuwe methode die een andere LLM, genaamd de AdvPrompter, gebruikt om binnen enkele seconden menselijk leesbare adversariale prompts te genereren, wat ongeveer 800 keer sneller is dan bestaande optimalisatie-gebaseerde benaderingen. We trainen de AdvPrompter met een nieuw algoritme dat geen toegang vereist tot de gradients van de TargetLLM. Dit proces wisselt af tussen twee stappen: (1) het genereren van hoogwaardige target adversariale achtervoegsels door de voorspellingen van de AdvPrompter te optimaliseren, en (2) low-rank fine-tuning van de AdvPrompter met de gegenereerde adversariale achtervoegsels. De getrainde AdvPrompter genereert achtervoegsels die de invoerinstructie verhullen zonder de betekenis ervan te veranderen, zodat de TargetLLM wordt verleid om een schadelijk antwoord te geven. Experimentele resultaten op populaire open-source TargetLLM's tonen state-of-the-art resultaten op de AdvBench-dataset, die ook overdraagbaar zijn naar closed-source black-box LLM-API's. Verder demonstreren we dat door fine-tuning op een synthetische dataset gegenereerd door AdvPrompter, LLM's robuuster kunnen worden gemaakt tegen jailbreaking-aanvallen terwijl de prestaties behouden blijven, d.w.z. hoge MMLU-scores.

English

While recently Large Language Models (LLMs) have achieved remarkable successes, they are vulnerable to certain jailbreaking attacks that lead to generation of inappropriate or harmful content. Manual red-teaming requires finding adversarial prompts that cause such jailbreaking, e.g. by appending a suffix to a given instruction, which is inefficient and time-consuming. On the other hand, automatic adversarial prompt generation often leads to semantically meaningless attacks that can easily be detected by perplexity-based filters, may require gradient information from the TargetLLM, or do not scale well due to time-consuming discrete optimization processes over the token space. In this paper, we present a novel method that uses another LLM, called the AdvPrompter, to generate human-readable adversarial prompts in seconds, sim800times faster than existing optimization-based approaches. We train the AdvPrompter using a novel algorithm that does not require access to the gradients of the TargetLLM. This process alternates between two steps: (1) generating high-quality target adversarial suffixes by optimizing the AdvPrompter predictions, and (2) low-rank fine-tuning of the AdvPrompter with the generated adversarial suffixes. The trained AdvPrompter generates suffixes that veil the input instruction without changing its meaning, such that the TargetLLM is lured to give a harmful response. Experimental results on popular open source TargetLLMs show state-of-the-art results on the AdvBench dataset, that also transfer to closed-source black-box LLM APIs. Further, we demonstrate that by fine-tuning on a synthetic dataset generated by AdvPrompter, LLMs can be made more robust against jailbreaking attacks while maintaining performance, i.e. high MMLU scores.