LLMs perdidos en la traducción: M-ALERT descubre brechas de seguridad interlingüísticas.

LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps

December 19, 2024

Autores: Felix Friedrich, Simone Tedeschi, Patrick Schramowski, Manuel Brack, Roberto Navigli, Huu Nguyen, Bo Li, Kristian Kersting

cs.AI

Resumen

Construir Modelos de Lenguaje Grandes (LLMs) seguros en varios idiomas es esencial para garantizar tanto un acceso seguro como diversidad lingüística. Con este fin, presentamos M-ALERT, un banco de pruebas multilingüe que evalúa la seguridad de LLMs en cinco idiomas: inglés, francés, alemán, italiano y español. M-ALERT incluye 15k indicaciones de alta calidad por idioma, totalizando 75k, siguiendo la detallada taxonomía de ALERT. Nuestros extensos experimentos con 10 LLMs de última generación resaltan la importancia del análisis de seguridad específico por idioma, revelando que los modelos a menudo muestran inconsistencias significativas en seguridad entre idiomas y categorías. Por ejemplo, Llama3.2 muestra una alta inseguridad en la categoría crime_tax para italiano pero se mantiene seguro en otros idiomas. Similares diferencias pueden observarse en todos los modelos. En contraste, ciertas categorías, como substance_cannabis y crime_propaganda, desencadenan consistentemente respuestas inseguras en todos los modelos e idiomas. Estos hallazgos subrayan la necesidad de prácticas de seguridad robustas y multilingües en LLMs para garantizar un uso seguro y responsable en diversas comunidades de usuarios.

English

Building safe Large Language Models (LLMs) across multiple languages is essential in ensuring both safe access and linguistic diversity. To this end, we introduce M-ALERT, a multilingual benchmark that evaluates the safety of LLMs in five languages: English, French, German, Italian, and Spanish. M-ALERT includes 15k high-quality prompts per language, totaling 75k, following the detailed ALERT taxonomy. Our extensive experiments on 10 state-of-the-art LLMs highlight the importance of language-specific safety analysis, revealing that models often exhibit significant inconsistencies in safety across languages and categories. For instance, Llama3.2 shows high unsafety in the category crime_tax for Italian but remains safe in other languages. Similar differences can be observed across all models. In contrast, certain categories, such as substance_cannabis and crime_propaganda, consistently trigger unsafe responses across models and languages. These findings underscore the need for robust multilingual safety practices in LLMs to ensure safe and responsible usage across diverse user communities.