Kaskadierender adverser Bias von der Injektion zur Destillation in Sprachmodellen

Cascading Adversarial Bias from Injection to Distillation in Language Models

May 30, 2025

Autoren: Harsh Chaudhari, Jamie Hayes, Matthew Jagielski, Ilia Shumailov, Milad Nasr, Alina Oprea

cs.AI

Zusammenfassung

Modell-Distillation ist unerlässlich geworden, um kleinere, einsetzbare Sprachmodelle zu erstellen, die die Fähigkeiten größerer Systeme beibehalten. Die weit verbreitete Nutzung wirft jedoch Bedenken hinsichtlich der Widerstandsfähigkeit gegen adversarische Manipulationen auf. Diese Arbeit untersucht die Anfälligkeit von destillierten Modellen für die adversarische Injektion von voreingenommenen Inhalten während des Trainings. Wir zeigen, dass Angreifer subtile Verzerrungen in Lehrer-Modelle durch minimale Datenvergiftung einbringen können, die sich auf Schüler-Modelle ausbreiten und erheblich verstärkt werden. Wir schlagen zwei Ausbreitungsmodi vor: Ungezielte Ausbreitung, bei der die Verzerrung mehrere Aufgaben beeinflusst, und Gezielte Ausbreitung, die sich auf spezifische Aufgaben konzentriert, während das normale Verhalten an anderer Stelle beibehalten wird. Mit nur 25 vergifteten Beispielen (0,25 % Vergiftungsrate) erzeugen Schüler-Modelle in gezielten Szenarien in 76,9 % der Fälle voreingenommene Antworten – mehr als die 69,4 % bei Lehrer-Modellen. Bei der ungezielten Ausbreitung tritt adversarische Verzerrung in Schüler-Modellen bei unbekannten Aufgaben 6- bis 29-mal häufiger auf. Wir validieren die Ergebnisse über sechs Arten von Verzerrungen (gezielte Werbung, Phishing-Links, narrative Manipulationen, unsichere Codierungspraktiken), verschiedene Destillationsmethoden und unterschiedliche Modalitäten, die Text- und Codegenerierung umfassen. Unsere Bewertung deckt Schwächen in aktuellen Verteidigungsmechanismen auf – Perplexitätsfilterung, Bias-Erkennungssysteme und LLM-basierte Autorater-Frameworks – gegen diese Angriffe. Die Ergebnisse offenbaren erhebliche Sicherheitslücken in destillierten Modellen und unterstreichen die Notwendigkeit spezialisierter Schutzmaßnahmen. Wir schlagen praktische Designprinzipien für den Aufbau effektiver Strategien zur Minderung adversarischer Verzerrungen vor.

English

Model distillation has become essential for creating smaller, deployable language models that retain larger system capabilities. However, widespread deployment raises concerns about resilience to adversarial manipulation. This paper investigates vulnerability of distilled models to adversarial injection of biased content during training. We demonstrate that adversaries can inject subtle biases into teacher models through minimal data poisoning, which propagates to student models and becomes significantly amplified. We propose two propagation modes: Untargeted Propagation, where bias affects multiple tasks, and Targeted Propagation, focusing on specific tasks while maintaining normal behavior elsewhere. With only 25 poisoned samples (0.25% poisoning rate), student models generate biased responses 76.9% of the time in targeted scenarios - higher than 69.4% in teacher models. For untargeted propagation, adversarial bias appears 6x-29x more frequently in student models on unseen tasks. We validate findings across six bias types (targeted advertisements, phishing links, narrative manipulations, insecure coding practices), various distillation methods, and different modalities spanning text and code generation. Our evaluation reveals shortcomings in current defenses - perplexity filtering, bias detection systems, and LLM-based autorater frameworks - against these attacks. Results expose significant security vulnerabilities in distilled models, highlighting need for specialized safeguards. We propose practical design principles for building effective adversarial bias mitigation strategies.