AdvPrompter: Promptagem Adversarial Rápida e Adaptativa para LLMs
AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs
April 21, 2024
Autores: Anselm Paulus, Arman Zharmagambetov, Chuan Guo, Brandon Amos, Yuandong Tian
cs.AI
Resumo
Embora os Modelos de Linguagem de Grande Escala (LLMs, na sigla em inglês) tenham alcançado sucessos notáveis recentemente, eles são vulneráveis a certos ataques de "jailbreaking" que resultam na geração de conteúdo inadequado ou prejudicial. O red-teaming manual exige a descoberta de prompts adversariais que causam esse jailbreaking, por exemplo, ao anexar um sufixo a uma instrução dada, o que é ineficiente e consome muito tempo. Por outro lado, a geração automática de prompts adversariais frequentemente resulta em ataques semanticamente sem sentido que podem ser facilmente detectados por filtros baseados em perplexidade, podem exigir informações de gradiente do TargetLLM ou não escalam bem devido a processos de otimização discreta demorados no espaço de tokens. Neste artigo, apresentamos um método inovador que utiliza outro LLM, chamado AdvPrompter, para gerar prompts adversariais legíveis por humanos em segundos, cerca de 800 vezes mais rápido do que as abordagens baseadas em otimização existentes. Treinamos o AdvPrompter usando um algoritmo novo que não requer acesso aos gradientes do TargetLLM. Esse processo alterna entre dois passos: (1) gerar sufixos adversariais de alta qualidade ao otimizar as previsões do AdvPrompter e (2) ajuste fino de baixo rank do AdvPrompter com os sufixos adversariais gerados. O AdvPrompter treinado gera sufixos que ocultam a instrução de entrada sem alterar seu significado, de modo que o TargetLLM é induzido a fornecer uma resposta prejudicial. Resultados experimentais em TargetLLMs populares de código aberto mostram resultados de ponta no conjunto de dados AdvBench, que também se transferem para APIs de LLMs de código fechado e de caixa preta. Além disso, demonstramos que, ao ajustar finamente um conjunto de dados sintético gerado pelo AdvPrompter, os LLMs podem se tornar mais robustos contra ataques de jailbreaking enquanto mantêm o desempenho, ou seja, altas pontuações no MMLU.
English
While recently Large Language Models (LLMs) have achieved remarkable
successes, they are vulnerable to certain jailbreaking attacks that lead to
generation of inappropriate or harmful content. Manual red-teaming requires
finding adversarial prompts that cause such jailbreaking, e.g. by appending a
suffix to a given instruction, which is inefficient and time-consuming. On the
other hand, automatic adversarial prompt generation often leads to semantically
meaningless attacks that can easily be detected by perplexity-based filters,
may require gradient information from the TargetLLM, or do not scale well due
to time-consuming discrete optimization processes over the token space. In this
paper, we present a novel method that uses another LLM, called the AdvPrompter,
to generate human-readable adversarial prompts in seconds, sim800times
faster than existing optimization-based approaches. We train the AdvPrompter
using a novel algorithm that does not require access to the gradients of the
TargetLLM. This process alternates between two steps: (1) generating
high-quality target adversarial suffixes by optimizing the AdvPrompter
predictions, and (2) low-rank fine-tuning of the AdvPrompter with the generated
adversarial suffixes. The trained AdvPrompter generates suffixes that veil the
input instruction without changing its meaning, such that the TargetLLM is
lured to give a harmful response. Experimental results on popular open source
TargetLLMs show state-of-the-art results on the AdvBench dataset, that also
transfer to closed-source black-box LLM APIs. Further, we demonstrate that by
fine-tuning on a synthetic dataset generated by AdvPrompter, LLMs can be made
more robust against jailbreaking attacks while maintaining performance, i.e.
high MMLU scores.