RedVox: Пробелы в безопасности и справедливости в речевых моделях на разных языках

Аннотация

Модели, способные обрабатывать речь, всё чаще используются в реальных приложениях на разных языках. Однако их безопасность и справедливость за пределами английского языка и в естественных условиях остаются недостаточно изученными. Мы анализируем практики отчётности о безопасности при выпуске современных речевых моделей и обнаруживаем, что только 8% из них содержат какой-либо многоязычный анализ. Для устранения этого пробела мы представляем RedVox — многоязычный бенчмарк безопасности и справедливости для аудио и речи, построенный на реальных голосах и охватывающий небезопасные и несправедливые стереотипные запросы на пяти языках (английском, французском, итальянском, испанском и немецком). Оценив восемь современных моделей, мы выясняем, что уязвимости сохраняются даже в не-состязательных условиях, усиливаются на языках, отличных от английского, и возрастают, когда запрос поступает в виде устного ввода. Наконец, опросив участников, внесших вклад в RedVox, мы документируем уникальные личностные и конфиденциальностные проблемы сбора речевых данных с участием людей, что указывает на более широкие социотехнические вызовы в области исследований естественной речевой безопасности.

English

Speech-capable models are increasingly deployed in real-world applications across languages. Yet their safety and fairness beyond English settings and under naturalistic conditions remain understudied. We survey safety reporting practices across state-of-the-art speech model releases, finding that only 8% document any multilingual analysis. To address this gap, we introduce RedVox, a multilingual safety and fairness benchmark for audio and speech built on real voices, covering unsafe and unfair stereotypical requests across five languages (English, French, Italian, Spanish, and German). Evaluating eight state-of-the-art models, we find that vulnerabilities persist even under non-adversarial conditions, worsen in non-English languages, and are amplified when the request comes from a spoken input. Finally, by surveying the participants who contributed to RedVox, we document the unique personal and privacy challenges of collecting speech data with human participants, pointing to broader sociotechnical challenges in naturalistic speech safety research.