Scassinare il sistema nel pagliaio

Jailbreaking in the Haystack

November 5, 2025

Autori: Rishi Rajesh Shah, Chen Henry Wu, Shashwat Saxena, Ziqian Zhong, Alexander Robey, Aditi Raghunathan

cs.AI

Abstract

I recenti progressi nei modelli linguistici (LM) a contesto lungo hanno reso possibili input di milioni di token, espandendo le loro capacità in compiti complessi come gli agenti per l'uso del computer. Tuttavia, le implicazioni per la sicurezza di questi contesti estesi rimangono poco chiare. Per colmare questa lacuna, introduciamo NINJA (acronimo di *Needle-in-haystack jailbreak attack*), un metodo che effettua il jailbreak di LM allineati aggiungendo contenuti benigni, generati dal modello, a obiettivi utente dannosi. Cruciale per il nostro metodo è l'osservazione che la posizione degli obiettivi dannosi gioca un ruolo importante per la sicurezza. Esperimenti sul benchmark di sicurezza standard, HarmBench, mostrano che NINJA aumenta significativamente i tassi di successo degli attacchi su modelli open e proprietari all'avanguardia, inclusi LLaMA, Qwen, Mistral e Gemini. A differenza dei metodi di jailbreak precedenti, il nostro approccio richiede poche risorse, è trasferibile e meno rilevabile. Inoltre, dimostriamo che NINJA è computazionalmente ottimale: con un budget computazionale fisso, aumentare la lunghezza del contesto può superare in efficacia l'aumento del numero di tentativi nel jailbreak "best-of-N". Questi risultati rivelano che anche contesti lunghi benigni – quando progettati con un'attenta posizionamento degli obiettivi – introducono vulnerabilità fondamentali nei moderni LM.

English

Recent advances in long-context language models (LMs) have enabled million-token inputs, expanding their capabilities across complex tasks like computer-use agents. Yet, the safety implications of these extended contexts remain unclear. To bridge this gap, we introduce NINJA (short for Needle-in-haystack jailbreak attack), a method that jailbreaks aligned LMs by appending benign, model-generated content to harmful user goals. Critical to our method is the observation that the position of harmful goals play an important role in safety. Experiments on standard safety benchmark, HarmBench, show that NINJA significantly increases attack success rates across state-of-the-art open and proprietary models, including LLaMA, Qwen, Mistral, and Gemini. Unlike prior jailbreaking methods, our approach is low-resource, transferable, and less detectable. Moreover, we show that NINJA is compute-optimal -- under a fixed compute budget, increasing context length can outperform increasing the number of trials in best-of-N jailbreak. These findings reveal that even benign long contexts -- when crafted with careful goal positioning -- introduce fundamental vulnerabilities in modern LMs.