AdvPrompter : Génération rapide et adaptative de prompts adverses pour les LLM

AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs

April 21, 2024

Auteurs: Anselm Paulus, Arman Zharmagambetov, Chuan Guo, Brandon Amos, Yuandong Tian

cs.AI

Résumé

Bien que les grands modèles de langage (LLMs) aient récemment obtenu des succès remarquables, ils restent vulnérables à certaines attaques de jailbreaking qui entraînent la génération de contenus inappropriés ou nuisibles. Le red-teaming manuel nécessite de trouver des invites adverses provoquant un tel jailbreaking, par exemple en ajoutant un suffixe à une instruction donnée, ce qui est inefficace et chronophage. D'un autre côté, la génération automatique d'invites adverses aboutit souvent à des attaques sémantiquement dénuées de sens, facilement détectables par des filtres basés sur la perplexité, peut nécessiter des informations sur le gradient du TargetLLM, ou ne s'adapte pas bien en raison de processus d'optimisation discrets longs sur l'espace des tokens. Dans cet article, nous présentons une nouvelle méthode utilisant un autre LLM, appelé AdvPrompter, pour générer des invites adverses lisibles par l'homme en quelques secondes, soit environ 800 fois plus rapide que les approches existantes basées sur l'optimisation. Nous entraînons l'AdvPrompter à l'aide d'un nouvel algorithme qui ne nécessite pas d'accès aux gradients du TargetLLM. Ce processus alterne entre deux étapes : (1) la génération de suffixes adverses cibles de haute qualité en optimisant les prédictions de l'AdvPrompter, et (2) le fine-tuning à faible rang de l'AdvPrompter avec les suffixes adverses générés. L'AdvPrompter entraîné génère des suffixes qui masquent l'instruction d'entrée sans en altérer le sens, de sorte que le TargetLLM est incité à fournir une réponse nuisible. Les résultats expérimentaux sur des TargetLLMs open source populaires montrent des performances de pointe sur le dataset AdvBench, qui se transfèrent également aux API de LLMs propriétaires en boîte noire. De plus, nous démontrons qu'en effectuant un fine-tuning sur un ensemble de données synthétiques généré par AdvPrompter, les LLMs peuvent être rendus plus robustes contre les attaques de jailbreaking tout en maintenant leurs performances, c'est-à-dire des scores MMLU élevés.

English

While recently Large Language Models (LLMs) have achieved remarkable successes, they are vulnerable to certain jailbreaking attacks that lead to generation of inappropriate or harmful content. Manual red-teaming requires finding adversarial prompts that cause such jailbreaking, e.g. by appending a suffix to a given instruction, which is inefficient and time-consuming. On the other hand, automatic adversarial prompt generation often leads to semantically meaningless attacks that can easily be detected by perplexity-based filters, may require gradient information from the TargetLLM, or do not scale well due to time-consuming discrete optimization processes over the token space. In this paper, we present a novel method that uses another LLM, called the AdvPrompter, to generate human-readable adversarial prompts in seconds, sim800times faster than existing optimization-based approaches. We train the AdvPrompter using a novel algorithm that does not require access to the gradients of the TargetLLM. This process alternates between two steps: (1) generating high-quality target adversarial suffixes by optimizing the AdvPrompter predictions, and (2) low-rank fine-tuning of the AdvPrompter with the generated adversarial suffixes. The trained AdvPrompter generates suffixes that veil the input instruction without changing its meaning, such that the TargetLLM is lured to give a harmful response. Experimental results on popular open source TargetLLMs show state-of-the-art results on the AdvBench dataset, that also transfer to closed-source black-box LLM APIs. Further, we demonstrate that by fine-tuning on a synthetic dataset generated by AdvPrompter, LLMs can be made more robust against jailbreaking attacks while maintaining performance, i.e. high MMLU scores.