De Stand van Zaken in Veiligheidsonderzoek voor Multilinguale LLM's: Van het Meten van de Taalkloof tot het Verkleinen Ervan

The State of Multilingual LLM Safety Research: From Measuring the Language Gap to Mitigating It

May 30, 2025

Auteurs: Zheng-Xin Yong, Beyza Ermis, Marzieh Fadaee, Stephen H. Bach, Julia Kreutzer

cs.AI

Samenvatting

Dit artikel presenteert een uitgebreide analyse van de linguïstische diversiteit in onderzoek naar de veiligheid van grote taalmodelen (LLM's), waarbij de Engelstalige dominantie in dit veld wordt benadrukt. Door een systematische review van bijna 300 publicaties uit de periode 2020–2024 van grote NLP-conferenties en -workshops bij *ACL, identificeren we een aanzienlijke en groeiende taalbarrière in onderzoek naar LLM-veiligheid, waarbij zelfs hoog-resource niet-Engelse talen nauwelijks aandacht krijgen. We constateren verder dat niet-Engelse talen zelden als op zichzelf staande taal worden bestudeerd en dat onderzoek naar Engelse veiligheid slechte praktijken heeft op het gebied van taaldocumentatie. Om toekomstig onderzoek naar meertalige veiligheid te stimuleren, doen we verschillende aanbevelingen op basis van ons onderzoek, en stellen we drie concrete toekomstige richtingen voor op het gebied van veiligheidsevaluatie, generatie van trainingsdata en crosslinguale veiligheidsgeneralizatie. Op basis van ons onderzoek en de voorgestelde richtingen kan het veld robuustere en inclusievere AI-veiligheidspraktijken ontwikkelen voor diverse wereldwijde populaties.

English

This paper presents a comprehensive analysis of the linguistic diversity of LLM safety research, highlighting the English-centric nature of the field. Through a systematic review of nearly 300 publications from 2020--2024 across major NLP conferences and workshops at *ACL, we identify a significant and growing language gap in LLM safety research, with even high-resource non-English languages receiving minimal attention. We further observe that non-English languages are rarely studied as a standalone language and that English safety research exhibits poor language documentation practice. To motivate future research into multilingual safety, we make several recommendations based on our survey, and we then pose three concrete future directions on safety evaluation, training data generation, and crosslingual safety generalization. Based on our survey and proposed directions, the field can develop more robust, inclusive AI safety practices for diverse global populations.