Взлом в стоге сена

Jailbreaking in the Haystack

November 5, 2025

Авторы: Rishi Rajesh Shah, Chen Henry Wu, Shashwat Saxena, Ziqian Zhong, Alexander Robey, Aditi Raghunathan

cs.AI

Аннотация

Последние достижения в области языковых моделей (ЯМ) с длинным контекстом позволили обрабатывать входные данные объемом в миллионы токенов, расширив их возможности для решения сложных задач, таких как агенты, взаимодействующие с компьютером. Однако последствия для безопасности этих расширенных контекстов остаются неясными. Чтобы заполнить этот пробел, мы представляем NINJA (сокращение от Needle-in-haystack jailbreak attack) — метод, который взламывает выровненные ЯМ путем добавления безвредного, сгенерированного моделью контента к вредоносным целям пользователя. Ключевым для нашего метода является наблюдение, что позиция вредоносных целей играет важную роль в безопасности. Эксперименты на стандартном бенчмарке безопасности HarmBench показывают, что NINJA значительно повышает успешность атак для передовых открытых и проприетарных моделей, включая LLaMA, Qwen, Mistral и Gemini. В отличие от предыдущих методов взлома, наш подход требует мало ресурсов, является переносимым и менее обнаруживаемым. Более того, мы показываем, что NINJA оптимален по вычислительным затратам — при фиксированном бюджете вычислений увеличение длины контекста может превзойти увеличение количества попыток в методе взлома best-of-N. Эти результаты показывают, что даже безвредные длинные контексты — при тщательном позиционировании цели — создают фундаментальные уязвимости в современных ЯМ.

English

Recent advances in long-context language models (LMs) have enabled million-token inputs, expanding their capabilities across complex tasks like computer-use agents. Yet, the safety implications of these extended contexts remain unclear. To bridge this gap, we introduce NINJA (short for Needle-in-haystack jailbreak attack), a method that jailbreaks aligned LMs by appending benign, model-generated content to harmful user goals. Critical to our method is the observation that the position of harmful goals play an important role in safety. Experiments on standard safety benchmark, HarmBench, show that NINJA significantly increases attack success rates across state-of-the-art open and proprietary models, including LLaMA, Qwen, Mistral, and Gemini. Unlike prior jailbreaking methods, our approach is low-resource, transferable, and less detectable. Moreover, we show that NINJA is compute-optimal -- under a fixed compute budget, increasing context length can outperform increasing the number of trials in best-of-N jailbreak. These findings reveal that even benign long contexts -- when crafted with careful goal positioning -- introduce fundamental vulnerabilities in modern LMs.