Afinamiento de Preferencias para la Mitigación de Toxicidad Generaliza a Través de Idiomas

Preference Tuning For Toxicity Mitigation Generalizes Across Languages

June 23, 2024

Autores: Xiaochen Li, Zheng-Xin Yong, Stephen H. Bach

cs.AI

Resumen

La desintoxicación de modelos de lenguaje grandes (LLMs) multilingües se ha vuelto crucial debido a su creciente uso global. En este trabajo, exploramos la generalización multilingüe en modo zero-shot de la optimización de preferencias para desintoxicar LLMs. A diferencia de estudios previos que muestran una generalización multilingüe limitada en otras tareas de seguridad, demostramos que el entrenamiento con Optimización Directa de Preferencias (DPO) utilizando únicamente datos en inglés puede reducir significativamente la toxicidad en generaciones abiertas multilingües. Por ejemplo, la probabilidad de que mGPT-1.3B genere continuaciones tóxicas disminuye del 46.8% al 3.9% en 17 idiomas diferentes después del entrenamiento. Nuestros resultados también se extienden a otros LLMs multilingües, como BLOOM, Llama3 y Aya-23. Utilizando herramientas de interpretabilidad mecanicista, como la intervención causal y el análisis de activaciones, identificamos la propiedad de dualidad multilingüe en las capas MLP de los LLMs, lo que explica la generalización multilingüe de DPO. Finalmente, mostramos que la recuperación de oraciones bilingües puede predecir la transferibilidad multilingüe de la optimización de preferencias con DPO.

English

Detoxifying multilingual Large Language Models (LLMs) has become crucial due to their increasing global use. In this work, we explore zero-shot cross-lingual generalization of preference tuning in detoxifying LLMs. Unlike previous studies that show limited cross-lingual generalization for other safety tasks, we demonstrate that Direct Preference Optimization (DPO) training with only English data can significantly reduce toxicity in multilingual open-ended generations. For example, the probability of mGPT-1.3B generating toxic continuations drops from 46.8% to 3.9% across 17 different languages after training. Our results also extend to other multilingual LLMs, such as BLOOM, Llama3, and Aya-23. Using mechanistic interpretability tools like causal intervention and activation analysis, we identified the dual multilinguality property of MLP layers in LLMs, which explains the cross-lingual generalization of DPO. Finally, we show that bilingual sentence retrieval can predict the cross-lingual transferability of DPO preference tuning.