LLM, потерянные в переводе: M-ALERT выявляет межъязыковые пробелы в безопасности.

LLMs Lost in Translation: M-ALERT uncovers Cross-Linguistic Safety Gaps

December 19, 2024

Авторы: Felix Friedrich, Simone Tedeschi, Patrick Schramowski, Manuel Brack, Roberto Navigli, Huu Nguyen, Bo Li, Kristian Kersting

cs.AI

Аннотация

Построение безопасных крупных языковых моделей (LLM) на нескольких языках является важным для обеспечения безопасного доступа и лингвистического разнообразия. В этом контексте мы представляем M-ALERT, многоязычный бенчмарк, который оценивает безопасность LLM на пяти языках: английском, французском, немецком, итальянском и испанском. M-ALERT включает 15 тыс. высококачественных подсказок на каждом языке, всего 75 тыс., следуя подробной таксономии ALERT. Наши обширные эксперименты на 10 передовых LLM подчеркивают важность анализа безопасности, специфичного для каждого языка, показывая, что модели часто проявляют значительные несоответствия в безопасности на разных языках и в категориях. Например, Llama3.2 показывает высокую небезопасность в категории crime_tax для итальянского языка, но остается безопасным на других языках. Подобные различия наблюдаются во всех моделях. В отличие от этого, определенные категории, такие как substance_cannabis и crime_propaganda, последовательно вызывают небезопасные ответы во всех моделях и языках. Эти результаты подчеркивают необходимость надежных многоязычных практик безопасности в LLM для обеспечения безопасного и ответственного использования разнообразными пользовательскими сообществами.

English

Building safe Large Language Models (LLMs) across multiple languages is essential in ensuring both safe access and linguistic diversity. To this end, we introduce M-ALERT, a multilingual benchmark that evaluates the safety of LLMs in five languages: English, French, German, Italian, and Spanish. M-ALERT includes 15k high-quality prompts per language, totaling 75k, following the detailed ALERT taxonomy. Our extensive experiments on 10 state-of-the-art LLMs highlight the importance of language-specific safety analysis, revealing that models often exhibit significant inconsistencies in safety across languages and categories. For instance, Llama3.2 shows high unsafety in the category crime_tax for Italian but remains safe in other languages. Similar differences can be observed across all models. In contrast, certain categories, such as substance_cannabis and crime_propaganda, consistently trigger unsafe responses across models and languages. These findings underscore the need for robust multilingual safety practices in LLMs to ensure safe and responsible usage across diverse user communities.