Voorkeursafstemming voor toxiciteitsreductie generaliseert over talen heen.

Preference Tuning For Toxicity Mitigation Generalizes Across Languages

June 23, 2024

Auteurs: Xiaochen Li, Zheng-Xin Yong, Stephen H. Bach

cs.AI

Samenvatting

Het detoxificeren van meertalige Large Language Models (LLMs) is cruciaal geworden vanwege hun toenemende wereldwijde gebruik. In dit werk onderzoeken we zero-shot cross-linguale generalisatie van voorkeursafstemming bij het detoxificeren van LLMs. In tegenstelling tot eerdere studies die beperkte cross-linguale generalisatie voor andere veiligheidstaken aantonen, laten wij zien dat Direct Preference Optimization (DPO) training met alleen Engelse data de toxiciteit in meertalige open-einde generaties aanzienlijk kan verminderen. Zo daalt bijvoorbeeld de kans dat mGPT-1.3B giftige vervolgingen genereert van 46,8% naar 3,9% over 17 verschillende talen na training. Onze resultaten zijn ook van toepassing op andere meertalige LLMs, zoals BLOOM, Llama3 en Aya-23. Met behulp van mechanistische interpretatietools zoals causale interventie en activatie-analyse hebben we de duale meertaligheidseigenschap van MLP-lagen in LLMs geïdentificeerd, wat de cross-linguale generalisatie van DPO verklaart. Tot slot tonen we aan dat tweetalige zinsretrieval de cross-linguale overdraagbaarheid van DPO-voorkeursafstemming kan voorspellen.

English

Detoxifying multilingual Large Language Models (LLMs) has become crucial due to their increasing global use. In this work, we explore zero-shot cross-lingual generalization of preference tuning in detoxifying LLMs. Unlike previous studies that show limited cross-lingual generalization for other safety tasks, we demonstrate that Direct Preference Optimization (DPO) training with only English data can significantly reduce toxicity in multilingual open-ended generations. For example, the probability of mGPT-1.3B generating toxic continuations drops from 46.8% to 3.9% across 17 different languages after training. Our results also extend to other multilingual LLMs, such as BLOOM, Llama3, and Aya-23. Using mechanistic interpretability tools like causal intervention and activation analysis, we identified the dual multilinguality property of MLP layers in LLMs, which explains the cross-lingual generalization of DPO. Finally, we show that bilingual sentence retrieval can predict the cross-lingual transferability of DPO preference tuning.