ChatPaper.aiChatPaper

アブレーションだけではDPOのエミュレートには不十分:ニューロンダイナミクスが毒性低減を推進する

Ablation is Not Enough to Emulate DPO: How Neuron Dynamics Drive Toxicity Reduction

November 10, 2024
著者: Yushi Yang, Filip Sondej, Harry Mayne, Adam Mahdi
cs.AI

要旨

安全微調整アルゴリズムは、有害な出力を減らすために言語モデルを微調整するために一般的に使用されていますが、これらのモデルがこれをどのように達成しているかの正確な内部メカニズムは未だ明らかではありません。有害性削減のための直接的な優先度最適化(DPO)の研究において、現在の説明では、DPOが最も有害なMLPニューロンを抑制して、有害領域を回避するためのオフセットを学習することによって機能すると主張しています。しかし、最も有害なニューロンを取り除き、活性化パッチを適用することで、この説明が不完全であることがわかりました。ニューロンの活性化変化を有害性プローブに投影することで、有害性削減の31.8\%しか最も有害なニューロンを抑制していないことがわかりました。代わりに、DPOは複数のニューロングループ全体に影響を蓄積することで、有害方向の執筆を減らし、残留ストリームで反有害性を促進することで有害性を減少させています。さらに、DPOはニューロンの活性化にノイズを与え、実際には多くのニューロンが有害性を増加させています。これは、DPOが有害性削減を達成するために対立するニューロン効果の間のバランスプロセスであることを示しています。
English
Safety fine-tuning algorithms are commonly used to fine-tune language models to reduce harmful outputs, but the exact internal mechanisms of how those models achieve this remain unclear. In studying direct preference optimisation (DPO) for toxicity reduction, current explanations claim that DPO works by dampening the most toxic MLP neurons to learn an offset to avert toxic regions in the residual stream. However, by ablating the most toxic neurons and applying activation patching, we find this explanation incomplete. By projecting neuron activation changes onto a toxicity probe, we find that only 31.8\% of toxicity reduction comes from dampened toxic neurons. Instead, DPO reduces toxicity by accumulating effects across multiple neuron groups, both reducing writing in the toxic direction and promoting anti-toxicity in the residual stream. Moreover, DPO gives noisy adjustments to neuron activations, with many neurons actually increasing toxicity. This indicates that DPO is a balancing process between opposing neuron effects to achieve toxicity reduction.

Summary

AI-Generated Summary

PDF52November 12, 2024