RedVox: Lacunas de Segurança e Justiça em Modelos de Fala em Diferentes Idiomas

Resumo

Modelos com capacidade de fala estão cada vez mais sendo implantados em aplicações do mundo real em vários idiomas. No entanto, sua segurança e equidade em contextos não ingleses e sob condições naturalísticas ainda são pouco estudadas. Realizamos um levantamento das práticas de divulgação de segurança em lançamentos de modelos de fala de última geração, constatando que apenas 8% documentam qualquer análise multilíngue. Para suprir essa lacuna, apresentamos o RedVox, um benchmark multilíngue de segurança e equidade para áudio e fala construído com vozes reais, abrangendo solicitações estereotipadas inseguras e injustas em cinco idiomas (inglês, francês, italiano, espanhol e alemão). Ao avaliar oito modelos de última geração, descobrimos que vulnerabilidades persistem mesmo sob condições não adversariais, pioram em idiomas diferentes do inglês e são amplificadas quando a solicitação provém de entrada falada. Por fim, ao entrevistar os participantes que contribuíram para o RedVox, documentamos os desafios únicos de privacidade e pessoais envolvidos na coleta de dados de fala com participantes humanos, apontando para desafios sociotécnicos mais amplos na pesquisa naturalística de segurança da fala.

English

Speech-capable models are increasingly deployed in real-world applications across languages. Yet their safety and fairness beyond English settings and under naturalistic conditions remain understudied. We survey safety reporting practices across state-of-the-art speech model releases, finding that only 8% document any multilingual analysis. To address this gap, we introduce RedVox, a multilingual safety and fairness benchmark for audio and speech built on real voices, covering unsafe and unfair stereotypical requests across five languages (English, French, Italian, Spanish, and German). Evaluating eight state-of-the-art models, we find that vulnerabilities persist even under non-adversarial conditions, worsen in non-English languages, and are amplified when the request comes from a spoken input. Finally, by surveying the participants who contributed to RedVox, we document the unique personal and privacy challenges of collecting speech data with human participants, pointing to broader sociotechnical challenges in naturalistic speech safety research.