Piratage dans la meule de foin

papers.abstract

Les récents progrès des modèles de langage à contexte étendu (LM) ont permis de traiter des entrées d'un million de tokens, élargissant leurs capacités pour des tâches complexes comme les agents d'utilisation informatique. Cependant, les implications en matière de sécurité de ces contextes étendus restent floues. Pour combler cette lacune, nous présentons NINJA (acronyme de Needle-in-haystack jailbreak attack), une méthode qui contourne les protections des LM alignés en ajoutant un contenu généré par le modèle et bénin à des objectifs utilisateur nuisibles. L'observation cruciale de notre méthode est que la position des objectifs nuisibles joue un rôle important dans la sécurité. Les expériences sur le benchmark de sécurité standard HarmBench montrent que NINJA augmente significativement les taux de réussite des attaques pour les modèles open source et propriétaires les plus avancés, incluant LLaMA, Qwen, Mistral et Gemini. Contrairement aux méthodes de contournement antérieures, notre approche est peu gourmande en ressources, transférable et moins détectable. De plus, nous montrons que NINJA est optimal en calcul : avec un budget de calcul fixe, augmenter la longueur du contexte surpasse l'augmentation du nombre d'essais dans les attaques par sélection du meilleur résultat parmi N. Ces résultats révèlent que même des contextes longs bénins - lorsqu'ils sont conçus avec un positionnement minutieux des objectifs - introduisent des vulnérabilités fondamentales dans les LM modernes.

English

Recent advances in long-context language models (LMs) have enabled million-token inputs, expanding their capabilities across complex tasks like computer-use agents. Yet, the safety implications of these extended contexts remain unclear. To bridge this gap, we introduce NINJA (short for Needle-in-haystack jailbreak attack), a method that jailbreaks aligned LMs by appending benign, model-generated content to harmful user goals. Critical to our method is the observation that the position of harmful goals play an important role in safety. Experiments on standard safety benchmark, HarmBench, show that NINJA significantly increases attack success rates across state-of-the-art open and proprietary models, including LLaMA, Qwen, Mistral, and Gemini. Unlike prior jailbreaking methods, our approach is low-resource, transferable, and less detectable. Moreover, we show that NINJA is compute-optimal -- under a fixed compute budget, increasing context length can outperform increasing the number of trials in best-of-N jailbreak. These findings reveal that even benign long contexts -- when crafted with careful goal positioning -- introduce fundamental vulnerabilities in modern LMs.

Piratage dans la meule de foin

Jailbreaking in the Haystack

papers.abstract

Support