LLMs persi nella traduzione: M-ALERT scopre lacune di sicurezza cross-linguistiche

Abstract

Costruire Large Language Models (LLM) sicuri in diverse lingue è essenziale per garantire un accesso sicuro e una diversità linguistica. A questo scopo, presentiamo M-ALERT, un benchmark multilingue che valuta la sicurezza dei LLM in cinque lingue: inglese, francese, tedesco, italiano e spagnolo. M-ALERT include 15k prompt di alta qualità per lingua, per un totale di 75k, seguendo la dettagliata tassonomia ALERT. I nostri ampi esperimenti su 10 LLM all'avanguardia evidenziano l'importanza dell'analisi della sicurezza specifica per lingua, rivelando che i modelli spesso mostrano significative incongruenze nella sicurezza tra lingue e categorie. Ad esempio, Llama3.2 mostra un'elevata insicurezza nella categoria crime_tax per l'italiano ma rimane sicuro in altre lingue. Simili differenze possono essere osservate in tutti i modelli. Al contrario, alcune categorie, come substance_cannabis e crime_propaganda, attivano in modo coerente risposte non sicure tra i modelli e le lingue. Queste scoperte sottolineano la necessità di pratiche robuste di sicurezza multilingue nei LLM per garantire un utilizzo sicuro e responsabile tra diverse comunità utenti.

English

Building safe Large Language Models (LLMs) across multiple languages is essential in ensuring both safe access and linguistic diversity. To this end, we introduce M-ALERT, a multilingual benchmark that evaluates the safety of LLMs in five languages: English, French, German, Italian, and Spanish. M-ALERT includes 15k high-quality prompts per language, totaling 75k, following the detailed ALERT taxonomy. Our extensive experiments on 10 state-of-the-art LLMs highlight the importance of language-specific safety analysis, revealing that models often exhibit significant inconsistencies in safety across languages and categories. For instance, Llama3.2 shows high unsafety in the category crime_tax for Italian but remains safe in other languages. Similar differences can be observed across all models. In contrast, certain categories, such as substance_cannabis and crime_propaganda, consistently trigger unsafe responses across models and languages. These findings underscore the need for robust multilingual safety practices in LLMs to ensure safe and responsible usage across diverse user communities.

LLMs persi nella traduzione: M-ALERT scopre lacune di sicurezza cross-linguistiche

LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps

Abstract

Support