Der Stand der Sicherheitsforschung zu mehrsprachigen LLMs: Von der Messung der Sprachlücke zu ihrer Minderung

The State of Multilingual LLM Safety Research: From Measuring the Language Gap to Mitigating It

May 30, 2025

Autoren: Zheng-Xin Yong, Beyza Ermis, Marzieh Fadaee, Stephen H. Bach, Julia Kreutzer

cs.AI

Zusammenfassung

Dieses Papier präsentiert eine umfassende Analyse der linguistischen Vielfalt in der Sicherheitsforschung zu großen Sprachmodellen (LLMs) und hebt den englischzentrierten Charakter des Feldes hervor. Durch eine systematische Überprüfung von fast 300 Publikationen aus den Jahren 2020–2024, die auf großen NLP-Konferenzen und Workshops der *ACL veröffentlicht wurden, identifizieren wir eine signifikante und wachsende Sprachlücke in der LLM-Sicherheitsforschung, wobei sogar hochressourcenreiche Nicht-Englisch-Sprachen nur minimal Beachtung finden. Wir stellen weiterhin fest, dass Nicht-Englisch-Sprachen selten als eigenständige Sprachen untersucht werden und dass die englischsprachige Sicherheitsforschung eine schlechte Praxis in der Sprachdokumentation aufweist. Um zukünftige Forschung zur mehrsprachigen Sicherheit zu motivieren, geben wir mehrere Empfehlungen basierend auf unserer Untersuchung und formulieren drei konkrete zukünftige Richtungen für die Sicherheitsbewertung, die Generierung von Trainingsdaten und die crosslinguale Sicherheitsverallgemeinerung. Basierend auf unserer Untersuchung und den vorgeschlagenen Richtungen kann das Feld robustere und inklusivere KI-Sicherheitspraktiken für diverse globale Bevölkerungsgruppen entwickeln.

English

This paper presents a comprehensive analysis of the linguistic diversity of LLM safety research, highlighting the English-centric nature of the field. Through a systematic review of nearly 300 publications from 2020--2024 across major NLP conferences and workshops at *ACL, we identify a significant and growing language gap in LLM safety research, with even high-resource non-English languages receiving minimal attention. We further observe that non-English languages are rarely studied as a standalone language and that English safety research exhibits poor language documentation practice. To motivate future research into multilingual safety, we make several recommendations based on our survey, and we then pose three concrete future directions on safety evaluation, training data generation, and crosslingual safety generalization. Based on our survey and proposed directions, the field can develop more robust, inclusive AI safety practices for diverse global populations.