任意深度アライメント：LLMの内在的安全性アライメントを任意深度で解放する

要旨

大規模言語モデル（LLMs）は、強力ではあるが浅いアラインメントを示す：アシスタントのターンの開始時に拒否が期待される場合、有害なクエリを直接拒否するが、いったん有害な継続が進行中になると（敵対的攻撃または有害なアシスタントプリフィル攻撃を介して）、この保護は崩壊する。これにより、根本的な疑問が生じる：LLMsの内在する浅いアラインメントを解放して、任意の生成深度での安全性を確保できるか？この目標を達成するために、我々はAny-Depth Alignment（ADA）を提案する。これは、無視できるオーバーヘッドで効果的な推論時防御である。ADAは、浅い拒否トレーニングでの繰り返し使用により、アラインメントがアシスタントヘッダートークンに集中し、これらのトークンがモデルの強力なアラインメント事前情報を持つという我々の観察に基づいて構築されている。これらのトークンを途中で再導入することにより、ADAはモデルに有害性を再評価させ、生成の任意の時点で拒否を回復させる。多様なオープンソースモデルファミリー（Llama、Gemma、Mistral、Qwen、DeepSeek、gpt-oss）において、ADAはベースモデルのパラメータを変更することなく、堅牢な安全性パフォーマンスを達成する。数十から数千トークンに及ぶ挑戦的な敵対的プリフィル攻撃に対して、ほぼ100％の拒否率を確保する。さらに、ADAは、GCG、AutoDAN、PAIR、TAPなどの著名な敵対的プロンプト攻撃の平均成功率を3％未満に削減する。これはすべて、良性タスクでの有用性を最小限の過剰拒否で維持しながら達成される。ADAは、ベースモデルがその後の指示チューニング（良性または敵対的）を受けた後も、この回復力を維持する。

English

Large Language Models (LLMs) exhibit strong but shallow alignment: they directly refuse harmful queries when a refusal is expected at the very start of an assistant turn, yet this protection collapses once a harmful continuation is underway (either through the adversarial attacks or via harmful assistant-prefill attacks). This raises a fundamental question: Can the innate shallow alignment in LLMs be unlocked to ensure safety at arbitrary generation depths? To achieve this goal, we propose Any-Depth Alignment (ADA), an effective inference-time defense with negligible overhead. ADA is built based on our observation that alignment is concentrated in the assistant header tokens through repeated use in shallow-refusal training, and these tokens possess the model's strong alignment priors. By reintroducing these tokens mid-stream, ADA induces the model to reassess harmfulness and recover refusals at any point in generation. Across diverse open-source model families (Llama, Gemma, Mistral, Qwen, DeepSeek, and gpt-oss), ADA achieves robust safety performance without requiring any changes to the base model's parameters. It secures a near-100% refusal rate against challenging adversarial prefill attacks ranging from dozens to thousands of tokens. Furthermore, ADA reduces the average success rate of prominent adversarial prompt attacks (such as GCG, AutoDAN, PAIR, and TAP) to below 3%. This is all accomplished while preserving utility on benign tasks with minimal over-refusal. ADA maintains this resilience even after the base model undergoes subsequent instruction tuning (benign or adversarial).

任意深度アライメント：LLMの内在的安全性アライメントを任意深度で解放する

Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth

要旨

Support