LLMs verloren in der Übersetzung: M-ALERT deckt sprachübergreifende Sicherheitslücken auf.

LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps

December 19, 2024

Autoren: Felix Friedrich, Simone Tedeschi, Patrick Schramowski, Manuel Brack, Roberto Navigli, Huu Nguyen, Bo Li, Kristian Kersting

cs.AI

Zusammenfassung

Der Aufbau sicherer großer Sprachmodelle (Large Language Models, LLMs) in mehreren Sprachen ist entscheidend, um sowohl einen sicheren Zugang als auch sprachliche Vielfalt zu gewährleisten. Zu diesem Zweck stellen wir M-ALERT vor, einen multilingualen Benchmark, der die Sicherheit von LLMs in fünf Sprachen - Englisch, Französisch, Deutsch, Italienisch und Spanisch - bewertet. M-ALERT umfasst 15.000 hochwertige Anfragen pro Sprache, insgesamt 75.000, basierend auf der detaillierten ALERT-Taxonomie. Unsere umfangreichen Experimente mit 10 hochmodernen LLMs heben die Bedeutung der sprachspezifischen Sicherheitsanalyse hervor und zeigen, dass Modelle oft erhebliche Inkonsistenzen in der Sicherheit zwischen Sprachen und Kategorien aufweisen. Zum Beispiel zeigt Llama3.2 eine hohe Unsicherheit in der Kategorie crime_tax für Italienisch, bleibt jedoch in anderen Sprachen sicher. Ähnliche Unterschiede sind bei allen Modellen feststellbar. Im Gegensatz dazu lösen bestimmte Kategorien wie substance_cannabis und crime_propaganda konsistent unsichere Reaktionen bei allen Modellen und Sprachen aus. Diese Ergebnisse unterstreichen die Notwendigkeit robuster multilingualer Sicherheitspraktiken in LLMs, um eine sichere und verantwortungsbewusste Nutzung in vielfältigen Benutzergruppen zu gewährleisten.

English

Building safe Large Language Models (LLMs) across multiple languages is essential in ensuring both safe access and linguistic diversity. To this end, we introduce M-ALERT, a multilingual benchmark that evaluates the safety of LLMs in five languages: English, French, German, Italian, and Spanish. M-ALERT includes 15k high-quality prompts per language, totaling 75k, following the detailed ALERT taxonomy. Our extensive experiments on 10 state-of-the-art LLMs highlight the importance of language-specific safety analysis, revealing that models often exhibit significant inconsistencies in safety across languages and categories. For instance, Llama3.2 shows high unsafety in the category crime_tax for Italian but remains safe in other languages. Similar differences can be observed across all models. In contrast, certain categories, such as substance_cannabis and crime_propaganda, consistently trigger unsafe responses across models and languages. These findings underscore the need for robust multilingual safety practices in LLMs to ensure safe and responsible usage across diverse user communities.