言語モデルにおけるインジェクションから蒸留への連鎖的敵対的バイアス

要旨

モデル蒸留は、大規模システムの能力を保持したまま、より小型で展開可能な言語モデルを作成するために不可欠となっています。しかし、広範な展開は、敵対的な操作に対する耐性に関する懸念を引き起こします。本論文では、訓練中に偏ったコンテンツを敵対的に注入することによる蒸留モデルの脆弱性を調査します。我々は、敵対者が最小限のデータ汚染を通じて教師モデルに微妙なバイアスを注入し、それが学生モデルに伝播し、大幅に増幅されることを実証します。我々は2つの伝播モードを提案します：非標的伝播（バイアスが複数のタスクに影響を与える）と、特定のタスクに焦点を当てつつ他の場所では正常な動作を維持する標的伝播です。わずか25の汚染サンプル（0.25%の汚染率）で、学生モデルは標的シナリオにおいて76.9%の確率で偏った応答を生成します - これは教師モデルの69.4%よりも高い値です。非標的伝播では、未見のタスクにおいて、学生モデルで敵対的バイアスが6倍から29倍も頻繁に現れます。我々は、6種類のバイアスタイプ（標的広告、フィッシングリンク、物語操作、安全でないコーディング慣行）、様々な蒸留方法、テキストとコード生成にまたがる異なるモダリティにおいて、これらの発見を検証します。我々の評価は、これらの攻撃に対する現在の防御策 - パープレキシティフィルタリング、バイアス検出システム、LLMベースの自動評価フレームワーク - の欠点を明らかにします。結果は、蒸留モデルにおける重大なセキュリティ脆弱性を暴露し、専門的な保護策の必要性を強調します。我々は、効果的な敵対的バイアス緩和戦略を構築するための実践的な設計原則を提案します。

English

Model distillation has become essential for creating smaller, deployable language models that retain larger system capabilities. However, widespread deployment raises concerns about resilience to adversarial manipulation. This paper investigates vulnerability of distilled models to adversarial injection of biased content during training. We demonstrate that adversaries can inject subtle biases into teacher models through minimal data poisoning, which propagates to student models and becomes significantly amplified. We propose two propagation modes: Untargeted Propagation, where bias affects multiple tasks, and Targeted Propagation, focusing on specific tasks while maintaining normal behavior elsewhere. With only 25 poisoned samples (0.25% poisoning rate), student models generate biased responses 76.9% of the time in targeted scenarios - higher than 69.4% in teacher models. For untargeted propagation, adversarial bias appears 6x-29x more frequently in student models on unseen tasks. We validate findings across six bias types (targeted advertisements, phishing links, narrative manipulations, insecure coding practices), various distillation methods, and different modalities spanning text and code generation. Our evaluation reveals shortcomings in current defenses - perplexity filtering, bias detection systems, and LLM-based autorater frameworks - against these attacks. Results expose significant security vulnerabilities in distilled models, highlighting need for specialized safeguards. We propose practical design principles for building effective adversarial bias mitigation strategies.

言語モデルにおけるインジェクションから蒸留への連鎖的敵対的バイアス

Cascading Adversarial Bias from Injection to Distillation in Language Models

要旨

Support