Ajuste de Preferência para Mitigação de Toxicidade Generaliza-se em Diferentes Idiomas

Preference Tuning For Toxicity Mitigation Generalizes Across Languages

June 23, 2024

Autores: Xiaochen Li, Zheng-Xin Yong, Stephen H. Bach

cs.AI

Resumo

A desintoxicação de Modelos de Linguagem Grandes (LLMs) multilíngues tornou-se crucial devido ao aumento de seu uso global. Neste trabalho, exploramos a generalização cruzada zero-shot do ajuste de preferência na desintoxicação de LLMs. Ao contrário de estudos anteriores que mostram uma generalização cruzada limitada para outras tarefas de segurança, demonstramos que o treinamento com Otimização Direta de Preferência (DPO) usando apenas dados em inglês pode reduzir significativamente a toxicidade em gerações multilíngues abertas. Por exemplo, a probabilidade de o mGPT-1.3B gerar continuações tóxicas cai de 46,8% para 3,9% em 17 idiomas diferentes após o treinamento. Nossos resultados também se estendem a outros LLMs multilíngues, como BLOOM, Llama3 e Aya-23. Usando ferramentas de interpretabilidade mecanicista como intervenção causal e análise de ativação, identificamos a propriedade dual de multilinguismo das camadas MLP em LLMs, o que explica a generalização cruzada do DPO. Por fim, mostramos que a recuperação de frases bilíngues pode prever a transferibilidade cruzada do ajuste de preferência DPO.

English

Detoxifying multilingual Large Language Models (LLMs) has become crucial due to their increasing global use. In this work, we explore zero-shot cross-lingual generalization of preference tuning in detoxifying LLMs. Unlike previous studies that show limited cross-lingual generalization for other safety tasks, we demonstrate that Direct Preference Optimization (DPO) training with only English data can significantly reduce toxicity in multilingual open-ended generations. For example, the probability of mGPT-1.3B generating toxic continuations drops from 46.8% to 3.9% across 17 different languages after training. Our results also extend to other multilingual LLMs, such as BLOOM, Llama3, and Aya-23. Using mechanistic interpretability tools like causal intervention and activation analysis, we identified the dual multilinguality property of MLP layers in LLMs, which explains the cross-lingual generalization of DPO. Finally, we show that bilingual sentence retrieval can predict the cross-lingual transferability of DPO preference tuning.