オープンウェイトモデルの体系的脆弱性に対するプレフィル攻撃の暴露

要旨

大規模言語モデルの能力が進化を続ける中、その悪用の可能性も高まっています。クローズドソースモデルは通常外部の防御機構に依存しますが、オープンウェイトモデルは有害な挙動を緩和するために主に内部の保護機能に依存しなければなりません。従来のレッドチーミング研究は、入力ベースのジェイルブレイキングやパラメータレベルの操作に焦点を当てることがほとんどでした。しかし、オープンウェイトモデルはネイティブでプリフィリングもサポートしており、これは攻撃者が生成開始前に初期の応答トークンを事前定義することを可能にします。その潜在的可能性にもかかわらず、この攻撃ベクトルは体系的な注目をほとんど浴びてきませんでした。本稿では、これまでで最大規模のプリフィル攻撃に関する実証研究を提示し、複数のモデルファミリーおよび最先端のオープンウェイトモデルにおいて、20以上の既存及び新規の戦略を評価します。我々の結果は、プリフィル攻撃が現在の主要なオープンウェイトモデル全てに対して一貫して有効であることを示しており、デプロイに重大な影響を及ぼす、重要かつこれまで十分に探求されてこなかった脆弱性を明らかにしています。一部の大規模推論モデルは汎用的なプリフィリングに対してある程度の堅牢性を示しますが、モデル特化型に調整された戦略には依然として脆弱です。我々の発見は、オープンウェイトLLMにおけるプリフィル攻撃への防御をモデル開発者が優先的に取り組む必要があることを強く示唆しています。

English

As the capabilities of large language models continue to advance, so does their potential for misuse. While closed-source models typically rely on external defenses, open-weight models must primarily depend on internal safeguards to mitigate harmful behavior. Prior red-teaming research has largely focused on input-based jailbreaking and parameter-level manipulations. However, open-weight models also natively support prefilling, which allows an attacker to predefine initial response tokens before generation begins. Despite its potential, this attack vector has received little systematic attention. We present the largest empirical study to date of prefill attacks, evaluating over 20 existing and novel strategies across multiple model families and state-of-the-art open-weight models. Our results show that prefill attacks are consistently effective against all major contemporary open-weight models, revealing a critical and previously underexplored vulnerability with significant implications for deployment. While certain large reasoning models exhibit some robustness against generic prefilling, they remain vulnerable to tailored, model-specific strategies. Our findings underscore the urgent need for model developers to prioritize defenses against prefill attacks in open-weight LLMs.

オープンウェイトモデルの体系的脆弱性に対するプレフィル攻撃の暴露

Exposing the Systematic Vulnerability of Open-Weight Models to Prefill Attacks

要旨

Support