RedVox: Sicherheits- und Fairnesslücken in Sprachmodellen über Sprachen hinweg

Zusammenfassung

Sprachfähige Modelle werden zunehmend in realen Anwendungen über verschiedene Sprachen hinweg eingesetzt. Dennoch sind ihre Sicherheit und Fairness jenseits englischsprachiger Umgebungen und unter naturalistischen Bedingungen noch unzureichend erforscht. Wir untersuchen die Sicherheitsberichterstattungspraktiken bei aktuellen Veröffentlichungen von Sprachmodellen und stellen fest, dass nur 8 % eine mehrsprachige Analyse dokumentieren. Um diese Lücke zu schließen, führen wir RedVox ein, einen mehrsprachigen Sicherheits- und Fairness-Benchmark für Audio und Sprache, der auf echten Stimmen basiert und unsichere sowie unfaire stereotype Anfragen in fünf Sprachen (Englisch, Französisch, Italienisch, Spanisch und Deutsch) abdeckt. Bei der Evaluierung von acht hochmodernen Modellen stellen wir fest, dass Schwachstellen selbst unter nicht-adversarialen Bedingungen bestehen bleiben, sich in nicht-englischen Sprachen verschlimmern und verstärkt werden, wenn die Anfrage von einer sprachlichen Eingabe stammt. Schließlich dokumentieren wir durch eine Befragung der Teilnehmer, die zu RedVox beigetragen haben, die besonderen persönlichen und datenschutzrechtlichen Herausforderungen bei der Erhebung von Sprachdaten mit menschlichen Teilnehmern und weisen auf breitere soziotechnische Herausforderungen in der naturalistischen Sprachsicherheitsforschung hin.

English

Speech-capable models are increasingly deployed in real-world applications across languages. Yet their safety and fairness beyond English settings and under naturalistic conditions remain understudied. We survey safety reporting practices across state-of-the-art speech model releases, finding that only 8% document any multilingual analysis. To address this gap, we introduce RedVox, a multilingual safety and fairness benchmark for audio and speech built on real voices, covering unsafe and unfair stereotypical requests across five languages (English, French, Italian, Spanish, and German). Evaluating eight state-of-the-art models, we find that vulnerabilities persist even under non-adversarial conditions, worsen in non-English languages, and are amplified when the request comes from a spoken input. Finally, by surveying the participants who contributed to RedVox, we document the unique personal and privacy challenges of collecting speech data with human participants, pointing to broader sociotechnical challenges in naturalistic speech safety research.