大規模言語モデルに対する知覚不能なジャイルブレイキング

要旨

視覚モダリティに対するジャイルブレイク攻撃は、通常、知覚不可能な敵対的摂動に依存するのに対し、テキストモダリティに対する攻撃は、一般的に可視的な変更（例：非意味的な接尾辞）が必要とされている。本論文では、バリエーションセレクタと呼ばれるUnicode文字のクラスを利用した知覚不可能なジャイルブレイクを紹介する。悪意のある質問に不可視のバリエーションセレクタを追加することで、ジャイルブレイクプロンプトは画面上では元の悪意のある質問と視覚的に同一に見えるが、そのトークン化は「秘密裏に」変更される。我々は、有害な応答を誘発するための敵対的接尾辞を生成するためのチェーンオブサーチパイプラインを提案する。実験結果は、我々の知覚不可能なジャイルブレイクが、4つの整列されたLLMに対して高い攻撃成功率を達成し、プロンプトインジェクション攻撃にも一般化することを示しており、すべて書かれたプロンプトに可視的な変更を加えることなく実現されている。我々のコードはhttps://github.com/sail-sg/imperceptible-jailbreaksで公開されている。

English

Jailbreaking attacks on the vision modality typically rely on imperceptible adversarial perturbations, whereas attacks on the textual modality are generally assumed to require visible modifications (e.g., non-semantic suffixes). In this paper, we introduce imperceptible jailbreaks that exploit a class of Unicode characters called variation selectors. By appending invisible variation selectors to malicious questions, the jailbreak prompts appear visually identical to original malicious questions on screen, while their tokenization is "secretly" altered. We propose a chain-of-search pipeline to generate such adversarial suffixes to induce harmful responses. Our experiments show that our imperceptible jailbreaks achieve high attack success rates against four aligned LLMs and generalize to prompt injection attacks, all without producing any visible modifications in the written prompt. Our code is available at https://github.com/sail-sg/imperceptible-jailbreaks.

大規模言語モデルに対する知覚不能なジャイルブレイキング

Imperceptible Jailbreaking against Large Language Models

要旨

Support