Cascata de Viés Adversarial da Injeção à Destilação em Modelos de Linguagem

Resumo

A destilação de modelos tornou-se essencial para a criação de modelos de linguagem menores e implantáveis que retêm as capacidades de sistemas maiores. No entanto, a implantação generalizada levanta preocupações sobre a resiliência à manipulação adversária. Este artigo investiga a vulnerabilidade de modelos destilados à injeção adversária de conteúdo tendencioso durante o treinamento. Demonstramos que adversários podem injetar vieses sutis em modelos professores por meio de envenenamento mínimo de dados, que se propaga para modelos estudantes e se amplifica significativamente. Propomos dois modos de propagação: Propagação Não Direcionada, onde o viés afeta múltiplas tarefas, e Propagação Direcionada, focando em tarefas específicas enquanto mantém o comportamento normal em outros lugares. Com apenas 25 amostras envenenadas (taxa de envenenamento de 0,25%), os modelos estudantes geram respostas tendenciosas 76,9% das vezes em cenários direcionados - maior que 69,4% nos modelos professores. Para a propagação não direcionada, o viés adversário aparece de 6 a 29 vezes mais frequentemente em modelos estudantes em tarefas não vistas. Validamos os resultados em seis tipos de viés (anúncios direcionados, links de phishing, manipulações narrativas, práticas de codificação inseguras), vários métodos de destilação e diferentes modalidades abrangendo geração de texto e código. Nossa avaliação revela deficiências nas defesas atuais - filtragem de perplexidade, sistemas de detecção de viés e frameworks de autorater baseados em LLM - contra esses ataques. Os resultados expõem vulnerabilidades de segurança significativas em modelos destilados, destacando a necessidade de salvaguardas especializadas. Propomos princípios práticos de design para a construção de estratégias eficazes de mitigação de viés adversário.

English

Model distillation has become essential for creating smaller, deployable language models that retain larger system capabilities. However, widespread deployment raises concerns about resilience to adversarial manipulation. This paper investigates vulnerability of distilled models to adversarial injection of biased content during training. We demonstrate that adversaries can inject subtle biases into teacher models through minimal data poisoning, which propagates to student models and becomes significantly amplified. We propose two propagation modes: Untargeted Propagation, where bias affects multiple tasks, and Targeted Propagation, focusing on specific tasks while maintaining normal behavior elsewhere. With only 25 poisoned samples (0.25% poisoning rate), student models generate biased responses 76.9% of the time in targeted scenarios - higher than 69.4% in teacher models. For untargeted propagation, adversarial bias appears 6x-29x more frequently in student models on unseen tasks. We validate findings across six bias types (targeted advertisements, phishing links, narrative manipulations, insecure coding practices), various distillation methods, and different modalities spanning text and code generation. Our evaluation reveals shortcomings in current defenses - perplexity filtering, bias detection systems, and LLM-based autorater frameworks - against these attacks. Results expose significant security vulnerabilities in distilled models, highlighting need for specialized safeguards. We propose practical design principles for building effective adversarial bias mitigation strategies.

Cascata de Viés Adversarial da Injeção à Destilação em Modelos de Linguagem

Cascading Adversarial Bias from Injection to Distillation in Language Models

Resumo

Support