RedVox : Écarts de sécurité et d'équité dans les modèles de parole à travers les langues

Résumé

Les modèles vocaux sont de plus en plus déployés dans des applications réelles dans plusieurs langues. Pourtant, leur sécurité et leur équité au-delà des contextes anglophones et dans des conditions naturalistes restent peu étudiées. Nous examinons les pratiques de rapport de sécurité dans les publications de modèles vocaux de pointe et constatons que seulement 8 % d'entre elles documentent une analyse multilingue. Pour combler cette lacune, nous présentons RedVox, un benchmark multilingue de sécurité et d'équité pour l'audio et la parole, construit à partir de voix réelles, couvrant des requêtes stéréotypées dangereuses et injustes dans cinq langues (anglais, français, italien, espagnol et allemand). En évaluant huit modèles de pointe, nous constatons que les vulnérabilités persistent même dans des conditions non adversariales, s'aggravent dans les langues autres que l'anglais et sont amplifiées lorsque la requête provient d'une entrée vocale. Enfin, en interrogeant les participants ayant contribué à RedVox, nous documentons les défis personnels et de confidentialité uniques liés à la collecte de données vocales auprès de participants humains, soulignant ainsi des défis sociotechniques plus larges dans la recherche sur la sécurité de la parole en conditions naturalistes.

English

Speech-capable models are increasingly deployed in real-world applications across languages. Yet their safety and fairness beyond English settings and under naturalistic conditions remain understudied. We survey safety reporting practices across state-of-the-art speech model releases, finding that only 8% document any multilingual analysis. To address this gap, we introduce RedVox, a multilingual safety and fairness benchmark for audio and speech built on real voices, covering unsafe and unfair stereotypical requests across five languages (English, French, Italian, Spanish, and German). Evaluating eight state-of-the-art models, we find that vulnerabilities persist even under non-adversarial conditions, worsen in non-English languages, and are amplified when the request comes from a spoken input. Finally, by surveying the participants who contributed to RedVox, we document the unique personal and privacy challenges of collecting speech data with human participants, pointing to broader sociotechnical challenges in naturalistic speech safety research.