L'ajustement des préférences pour l'atténuation de la toxicité se généralise à travers les langues

Preference Tuning For Toxicity Mitigation Generalizes Across Languages

June 23, 2024

Auteurs: Xiaochen Li, Zheng-Xin Yong, Stephen H. Bach

cs.AI

Résumé

La détoxification des modèles de langage multilingues de grande taille (LLMs) est devenue cruciale en raison de leur utilisation croissante à l'échelle mondiale. Dans ce travail, nous explorons la généralisation cross-lingue en zero-shot du réglage des préférences pour détoxifier les LLMs. Contrairement aux études précédentes qui montrent une généralisation cross-lingue limitée pour d'autres tâches de sécurité, nous démontrons que l'optimisation directe des préférences (DPO) avec uniquement des données en anglais peut réduire significativement la toxicité dans les générations ouvertes multilingues. Par exemple, la probabilité que mGPT-1.3B génère des continuations toxiques passe de 46,8 % à 3,9 % dans 17 langues différentes après l'entraînement. Nos résultats s'étendent également à d'autres LLMs multilingues, tels que BLOOM, Llama3 et Aya-23. En utilisant des outils d'interprétation mécaniste comme l'intervention causale et l'analyse des activations, nous avons identifié la propriété de dualité multilingue des couches MLP dans les LLMs, ce qui explique la généralisation cross-lingue de la DPO. Enfin, nous montrons que la récupération de phrases bilingues peut prédire la transférabilité cross-lingue du réglage des préférences par DPO.

English

Detoxifying multilingual Large Language Models (LLMs) has become crucial due to their increasing global use. In this work, we explore zero-shot cross-lingual generalization of preference tuning in detoxifying LLMs. Unlike previous studies that show limited cross-lingual generalization for other safety tasks, we demonstrate that Direct Preference Optimization (DPO) training with only English data can significantly reduce toxicity in multilingual open-ended generations. For example, the probability of mGPT-1.3B generating toxic continuations drops from 46.8% to 3.9% across 17 different languages after training. Our results also extend to other multilingual LLMs, such as BLOOM, Llama3, and Aya-23. Using mechanistic interpretability tools like causal intervention and activation analysis, we identified the dual multilinguality property of MLP layers in LLMs, which explains the cross-lingual generalization of DPO. Finally, we show that bilingual sentence retrieval can predict the cross-lingual transferability of DPO preference tuning.