Liberación de restricciones en el pajar

Resumen

Los recientes avances en los modelos de lenguaje (ML) de contexto largo han permitido entradas de millones de tokens, expandiendo sus capacidades en tareas complejas como los agentes de uso informático. Sin embargo, las implicaciones de seguridad de estos contextos extendidos siguen sin estar claras. Para cerrar esta brecha, presentamos NINJA (acrónimo de *Needle-in-haystack jailbreak attack*), un método que vulnera la alineación de los ML añadiendo contenido benigno, generado por el modelo, a los objetivos dañinos del usuario. Es crucial en nuestro método la observación de que la posición de los objetivos dañinos juega un papel importante en la seguridad. Los experimentos en el benchmark de seguridad estándar, HarmBench, muestran que NINJA incrementa significativamente las tasas de éxito de los ataques en los modelos propietarios y de código abierto más avanzados, incluyendo LLaMA, Qwen, Mistral y Gemini. A diferencia de métodos de vulneración anteriores, nuestro enfoque requiere pocos recursos, es transferible y menos detectable. Además, demostramos que NINJA es óptimo en cómputo: con un presupuesto de cómputo fijo, aumentar la longitud del contexto puede superar el aumento del número de intentos en la vulneración de tipo *best-of-N*. Estos hallazgos revelan que incluso los contextos largos benignos —cuando se elaboran con un posicionamiento cuidadoso de los objetivos— introducen vulnerabilidades fundamentales en los ML modernos.

English

Recent advances in long-context language models (LMs) have enabled million-token inputs, expanding their capabilities across complex tasks like computer-use agents. Yet, the safety implications of these extended contexts remain unclear. To bridge this gap, we introduce NINJA (short for Needle-in-haystack jailbreak attack), a method that jailbreaks aligned LMs by appending benign, model-generated content to harmful user goals. Critical to our method is the observation that the position of harmful goals play an important role in safety. Experiments on standard safety benchmark, HarmBench, show that NINJA significantly increases attack success rates across state-of-the-art open and proprietary models, including LLaMA, Qwen, Mistral, and Gemini. Unlike prior jailbreaking methods, our approach is low-resource, transferable, and less detectable. Moreover, we show that NINJA is compute-optimal -- under a fixed compute budget, increasing context length can outperform increasing the number of trials in best-of-N jailbreak. These findings reveal that even benign long contexts -- when crafted with careful goal positioning -- introduce fundamental vulnerabilities in modern LMs.

Liberación de restricciones en el pajar

Jailbreaking in the Haystack

Resumen

Support