Jailbreaking met Universele Multi-Prompts

Jailbreaking with Universal Multi-Prompts

February 3, 2025

Auteurs: Yu-Ling Hsu, Hsuan Su, Shang-Tse Chen

cs.AI

Samenvatting

Grote taalmodellen (LLM's) hebben de afgelopen jaren een snelle ontwikkeling doorgemaakt, waarbij ze verschillende toepassingen hebben gerevolutioneerd en aanzienlijk het gemak en de productiviteit hebben verbeterd. Echter, naast hun indrukwekkende mogelijkheden, zijn ethische zorgen en nieuwe soorten aanvallen, zoals jailbreaking, opgedoken. Terwijl de meeste prompting technieken zich richten op het optimaliseren van vijandige invoer voor individuele gevallen, wat resulteert in hogere computationele kosten bij het omgaan met grote datasets. Minder onderzoek heeft zich gericht op de meer algemene instelling van het trainen van een universele aanvaller die kan overgaan naar ongeziene taken. In dit artikel introduceren we JUMP, een op prompt gebaseerde methode die is ontworpen om LLM's te jailbreaken met behulp van universele multi-prompts. We passen onze benadering ook aan voor verdediging, wat we DUMP noemen. Experimentele resultaten tonen aan dat onze methode voor het optimaliseren van universele multi-prompts beter presteert dan bestaande technieken.

English

Large language models (LLMs) have seen rapid development in recent years, revolutionizing various applications and significantly enhancing convenience and productivity. However, alongside their impressive capabilities, ethical concerns and new types of attacks, such as jailbreaking, have emerged. While most prompting techniques focus on optimizing adversarial inputs for individual cases, resulting in higher computational costs when dealing with large datasets. Less research has addressed the more general setting of training a universal attacker that can transfer to unseen tasks. In this paper, we introduce JUMP, a prompt-based method designed to jailbreak LLMs using universal multi-prompts. We also adapt our approach for defense, which we term DUMP. Experimental results demonstrate that our method for optimizing universal multi-prompts outperforms existing techniques.