Ablação não é Suficiente para Emular DPO: Como a Dinâmica dos Neurônios Impulsiona a Redução da Toxicidade

Ablation is Not Enough to Emulate DPO: How Neuron Dynamics Drive Toxicity Reduction

November 10, 2024

Autores: Yushi Yang, Filip Sondej, Harry Mayne, Adam Mahdi

cs.AI

Resumo

Algoritmos de ajuste fino de segurança são comumente usados para ajustar modelos de linguagem a fim de reduzir as saídas prejudiciais, mas os mecanismos internos exatos de como esses modelos alcançam isso permanecem obscuros. Ao estudar a otimização de preferência direta (OPD) para redução de toxicidade, explicações atuais afirmam que a OPD funciona ao amortecer os neurônios MLP mais tóxicos para aprender um deslocamento a fim de evitar regiões tóxicas no fluxo residual. No entanto, ao abater os neurônios mais tóxicos e aplicar correção de ativação, descobrimos que essa explicação é incompleta. Ao projetar mudanças na ativação dos neurônios em uma sonda de toxicidade, descobrimos que apenas 31,8\% da redução de toxicidade vem dos neurônios tóxicos amortecidos. Em vez disso, a OPD reduz a toxicidade acumulando efeitos em vários grupos de neurônios, tanto reduzindo a escrita na direção tóxica quanto promovendo a anti-toxicidade no fluxo residual. Além disso, a OPD fornece ajustes ruidosos nas ativações dos neurônios, com muitos neurônios aumentando efetivamente a toxicidade. Isso indica que a OPD é um processo de equilíbrio entre efeitos opostos dos neurônios para alcançar a redução de toxicidade.

English

Safety fine-tuning algorithms are commonly used to fine-tune language models to reduce harmful outputs, but the exact internal mechanisms of how those models achieve this remain unclear. In studying direct preference optimisation (DPO) for toxicity reduction, current explanations claim that DPO works by dampening the most toxic MLP neurons to learn an offset to avert toxic regions in the residual stream. However, by ablating the most toxic neurons and applying activation patching, we find this explanation incomplete. By projecting neuron activation changes onto a toxicity probe, we find that only 31.8\% of toxicity reduction comes from dampened toxic neurons. Instead, DPO reduces toxicity by accumulating effects across multiple neuron groups, both reducing writing in the toxic direction and promoting anti-toxicity in the residual stream. Moreover, DPO gives noisy adjustments to neuron activations, with many neurons actually increasing toxicity. This indicates that DPO is a balancing process between opposing neuron effects to achieve toxicity reduction.