Cascaderende Adversariële Bias van Injectie naar Destillatie in Taalmodellen

Cascading Adversarial Bias from Injection to Distillation in Language Models

May 30, 2025

Auteurs: Harsh Chaudhari, Jamie Hayes, Matthew Jagielski, Ilia Shumailov, Milad Nasr, Alina Oprea

cs.AI

Samenvatting

Modeldistillatie is essentieel geworden voor het creëren van kleinere, inzetbare taalmodelen die de capaciteiten van grotere systemen behouden. Echter, brede inzetbaarheid roept zorgen op over de veerkracht tegen vijandige manipulatie. Dit artikel onderzoekt de kwetsbaarheid van gedistilleerde modellen voor het injecteren van bevooroordeelde inhoud tijdens de training. We tonen aan dat aanvallers subtiele vooroordelen in leraarmodellen kunnen injecteren door minimale datavergiftiging, wat zich verspreidt naar studentmodellen en aanzienlijk wordt versterkt. We stellen twee propagatiemodi voor: Ongerichte Propagatie, waarbij vooroordeel meerdere taken beïnvloedt, en Gerichte Propagatie, gericht op specifieke taken terwijl normaal gedrag elders behouden blijft. Met slechts 25 vergiftigde samples (0,25% vergiftigingspercentage) genereren studentmodellen in gerichte scenario's 76,9% van de tijd bevooroordeelde antwoorden - hoger dan 69,4% in leraarmodellen. Voor ongerichte propagatie verschijnt vijandig vooroordeel 6x-29x vaker in studentmodellen bij onbekende taken. We valideren de bevindingen over zes biassoorten (gerichte advertenties, phishinglinks, narratieve manipulaties, onveilige coderingspraktijken), verschillende distillatiemethoden en verschillende modaliteiten die tekst- en codegeneratie omvatten. Onze evaluatie onthult tekortkomingen in huidige verdedigingsmechanismen - perplexiteitsfiltering, biasdetectiesystemen en LLM-gebaseerde autoraterframeworks - tegen deze aanvallen. De resultaten blootstellen aanzienlijke beveiligingskwetsbaarheden in gedistilleerde modellen, wat de noodzaak voor gespecialiseerde beschermingsmaatregelen benadrukt. We stellen praktische ontwerpprincipes voor voor het bouwen van effectieve strategieën om vijandige bias te mitigeren.

English

Model distillation has become essential for creating smaller, deployable language models that retain larger system capabilities. However, widespread deployment raises concerns about resilience to adversarial manipulation. This paper investigates vulnerability of distilled models to adversarial injection of biased content during training. We demonstrate that adversaries can inject subtle biases into teacher models through minimal data poisoning, which propagates to student models and becomes significantly amplified. We propose two propagation modes: Untargeted Propagation, where bias affects multiple tasks, and Targeted Propagation, focusing on specific tasks while maintaining normal behavior elsewhere. With only 25 poisoned samples (0.25% poisoning rate), student models generate biased responses 76.9% of the time in targeted scenarios - higher than 69.4% in teacher models. For untargeted propagation, adversarial bias appears 6x-29x more frequently in student models on unseen tasks. We validate findings across six bias types (targeted advertisements, phishing links, narrative manipulations, insecure coding practices), various distillation methods, and different modalities spanning text and code generation. Our evaluation reveals shortcomings in current defenses - perplexity filtering, bias detection systems, and LLM-based autorater frameworks - against these attacks. Results expose significant security vulnerabilities in distilled models, highlighting need for specialized safeguards. We propose practical design principles for building effective adversarial bias mitigation strategies.