Jailbreaking mit universellen Multi-Prompts

Jailbreaking with Universal Multi-Prompts

February 3, 2025

Autoren: Yu-Ling Hsu, Hsuan Su, Shang-Tse Chen

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben in den letzten Jahren eine rasante Entwicklung erlebt, indem sie verschiedene Anwendungen revolutioniert und die Bequemlichkeit und Produktivität erheblich verbessert haben. Neben ihren beeindruckenden Fähigkeiten sind jedoch auch ethische Bedenken und neue Arten von Angriffen, wie z.B. Jailbreaking, aufgetaucht. Während die meisten Aufforderungstechniken darauf abzielen, adversative Eingaben für einzelne Fälle zu optimieren, was zu höheren Rechenkosten bei der Arbeit mit großen Datensätzen führt, wurde bisher weniger Forschung betrieben, um das allgemeinere Szenario des Trainings eines universellen Angreifers anzugehen, der auf unbekannte Aufgaben übertragen werden kann. In diesem Paper stellen wir JUMP vor, eine auf Aufforderungen basierende Methode, die darauf abzielt, LLMs mithilfe universeller Multiprompten zu jailbreaken. Wir passen unseren Ansatz auch für Verteidigungszwecke an, den wir DUMP nennen. Experimentelle Ergebnisse zeigen, dass unsere Methode zur Optimierung universeller Multiprompten bestehende Techniken übertrifft.

English

Large language models (LLMs) have seen rapid development in recent years, revolutionizing various applications and significantly enhancing convenience and productivity. However, alongside their impressive capabilities, ethical concerns and new types of attacks, such as jailbreaking, have emerged. While most prompting techniques focus on optimizing adversarial inputs for individual cases, resulting in higher computational costs when dealing with large datasets. Less research has addressed the more general setting of training a universal attacker that can transfer to unseen tasks. In this paper, we introduce JUMP, a prompt-based method designed to jailbreak LLMs using universal multi-prompts. We also adapt our approach for defense, which we term DUMP. Experimental results demonstrate that our method for optimizing universal multi-prompts outperforms existing techniques.