Jailbreaken in de Hooiberg

Samenvatting

Recente vooruitgang in taalmodellen met lange context (LM's) heeft invoer van miljoen tokens mogelijk gemaakt, wat hun capaciteiten uitbreidt voor complexe taken zoals computergebruik-agents. Toch blijven de veiligheidsimplicaties van deze uitgebreide contexten onduidelijk. Om deze kloof te overbruggen, introduceren we NINJA (een acroniem voor Needle-in-haystack jailbreak-aanval), een methode die gealigneerde LM's jailbreakt door onschadelijke, door het model gegenereerde inhoud toe te voegen aan schadelijke gebruikersdoelen. Cruciaal voor onze methode is de observatie dat de positie van schadelijke doelen een belangrijke rol speelt in de veiligheid. Experimenten op de standaard veiligheidsbenchmark, HarmBench, tonen aan dat NINJA de aanvalssuccespercentages aanzienlijk verhoogt bij state-of-the-art open-source en propriëtaire modellen, waaronder LLaMA, Qwen, Mistral en Gemini. In tegenstelling tot eerdere jailbreak-methoden is onze aanpak laag in resourceverbruik, overdraagbaar en minder detecteerbaar. Bovendien tonen we aan dat NINJA compute-optimaal is – bij een vast rekenbudget kan het verhogen van de contextlengte superieur zijn aan het verhogen van het aantal pogingen in een best-of-N jailbreak. Deze bevindingen onthullen dat zelfs onschadelijke lange contexten – wanneer zorgvuldig gepositioneerd met het doel – fundamentele kwetsbaarheden in moderne LM's introduceren.

English

Recent advances in long-context language models (LMs) have enabled million-token inputs, expanding their capabilities across complex tasks like computer-use agents. Yet, the safety implications of these extended contexts remain unclear. To bridge this gap, we introduce NINJA (short for Needle-in-haystack jailbreak attack), a method that jailbreaks aligned LMs by appending benign, model-generated content to harmful user goals. Critical to our method is the observation that the position of harmful goals play an important role in safety. Experiments on standard safety benchmark, HarmBench, show that NINJA significantly increases attack success rates across state-of-the-art open and proprietary models, including LLaMA, Qwen, Mistral, and Gemini. Unlike prior jailbreaking methods, our approach is low-resource, transferable, and less detectable. Moreover, we show that NINJA is compute-optimal -- under a fixed compute budget, increasing context length can outperform increasing the number of trials in best-of-N jailbreak. These findings reveal that even benign long contexts -- when crafted with careful goal positioning -- introduce fundamental vulnerabilities in modern LMs.

Jailbreaken in de Hooiberg

Jailbreaking in the Haystack

Samenvatting

Support