Violação de Segurança no Haystack

Jailbreaking in the Haystack

November 5, 2025

Autores: Rishi Rajesh Shah, Chen Henry Wu, Shashwat Saxena, Ziqian Zhong, Alexander Robey, Aditi Raghunathan

cs.AI

Resumo

Os recentes avanços em modelos de linguagem (ML) de contexto longo permitiram entradas de milhões de tokens, expandindo suas capacidades em tarefas complexas, como agentes de uso computacional. No entanto, as implicações de segurança desses contextos estendidos permanecem pouco claras. Para preencher essa lacuna, introduzimos o NINJA (abreviação de *Needle-in-haystack jailbreak attack*), um método que realiza *jailbreak* em MLs alinhados anexando conteúdo benigno, gerado pelo modelo, a objetivos maliciosos do usuário. Crucial para nosso método é a observação de que a posição dos objetivos maliciosos desempenha um papel importante na segurança. Experimentos no benchmark de segurança padrão, HarmBench, mostram que o NINJA aumenta significativamente as taxas de sucesso de ataques em modelos proprietários e de última geração de código aberto, incluindo LLaMA, Qwen, Mistral e Gemini. Diferente de métodos anteriores de *jailbreak*, nossa abordagem é de baixo recurso, transferível e menos detectável. Além disso, mostramos que o NINJA é computacionalmente ideal — sob um orçamento computacional fixo, aumentar o comprimento do contexto pode superar o aumento do número de tentativas no *jailbreak* do tipo *best-of-N*. Essas descobertas revelam que mesmo contextos longos benignos — quando elaborados com um posicionamento cuidadoso do objetivo — introduzem vulnerabilidades fundamentais nos MLs modernos.

English

Recent advances in long-context language models (LMs) have enabled million-token inputs, expanding their capabilities across complex tasks like computer-use agents. Yet, the safety implications of these extended contexts remain unclear. To bridge this gap, we introduce NINJA (short for Needle-in-haystack jailbreak attack), a method that jailbreaks aligned LMs by appending benign, model-generated content to harmful user goals. Critical to our method is the observation that the position of harmful goals play an important role in safety. Experiments on standard safety benchmark, HarmBench, show that NINJA significantly increases attack success rates across state-of-the-art open and proprietary models, including LLaMA, Qwen, Mistral, and Gemini. Unlike prior jailbreaking methods, our approach is low-resource, transferable, and less detectable. Moreover, we show that NINJA is compute-optimal -- under a fixed compute budget, increasing context length can outperform increasing the number of trials in best-of-N jailbreak. These findings reveal that even benign long contexts -- when crafted with careful goal positioning -- introduce fundamental vulnerabilities in modern LMs.