Knacken im Heuhaufen

Jailbreaking in the Haystack

November 5, 2025

papers.authors: Rishi Rajesh Shah, Chen Henry Wu, Shashwat Saxena, Ziqian Zhong, Alexander Robey, Aditi Raghunathan

cs.AI

papers.abstract

Jüngste Fortschritte bei Sprachmodellen mit langem Kontext haben Eingaben im Millionen-Token-Bereich ermöglicht, was ihre Fähigkeiten bei komplexen Aufgaben wie Computer-Use-Agents erweitert. Dennoch sind die Sicherheitsimplikationen dieser erweiterten Kontexte unklar. Um diese Lücke zu schließen, stellen wir NINJA (kurz für Needle-in-haystack-Jailbreak-Angriff) vor, eine Methode, die alignierte Sprachmodelle durch Anhängen harmlosen, modellgenerierten Inhalts an schädliche Benutzerziele jailbreakt. Entscheidend für unsere Methode ist die Beobachtung, dass die Position schädlicher Ziele eine wichtige Rolle für die Sicherheit spielt. Experimente mit dem Standard-Sicherheitsbenchmark HarmBench zeigen, dass NINJA die Angriffserfolgsrate bei modernsten Open-Source- und proprietären Modellen, einschließlich LLaMA, Qwen, Mistral und Gemini, signifikant erhöht. Im Gegensatz zu früheren Jailbreaking-Methoden ist unser Ansatz ressourcenschonend, übertragbar und schwerer erkennbar. Darüber hinaus zeigen wir, dass NINJA rechenoptimal ist – bei festem Rechenbudget kann die Erhöhung der Kontextlänge die Erhöhung der Versuchsanzahl bei Best-of-N-Jailbreaks übertreffen. Diese Ergebnisse zeigen, dass selbst harmlose lange Kontexte – bei sorgfältiger Positionierung der Ziele – grundlegende Schwachstellen in modernen Sprachmodellen einführen.

English

Recent advances in long-context language models (LMs) have enabled million-token inputs, expanding their capabilities across complex tasks like computer-use agents. Yet, the safety implications of these extended contexts remain unclear. To bridge this gap, we introduce NINJA (short for Needle-in-haystack jailbreak attack), a method that jailbreaks aligned LMs by appending benign, model-generated content to harmful user goals. Critical to our method is the observation that the position of harmful goals play an important role in safety. Experiments on standard safety benchmark, HarmBench, show that NINJA significantly increases attack success rates across state-of-the-art open and proprietary models, including LLaMA, Qwen, Mistral, and Gemini. Unlike prior jailbreaking methods, our approach is low-resource, transferable, and less detectable. Moreover, we show that NINJA is compute-optimal -- under a fixed compute budget, increasing context length can outperform increasing the number of trials in best-of-N jailbreak. These findings reveal that even benign long contexts -- when crafted with careful goal positioning -- introduce fundamental vulnerabilities in modern LMs.