RedVox: 언어 간 음성 모델의 안전성 및 공정성 격차

초록

음성 인식이 가능한 모델들은 다양한 언어로 실제 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 영어 환경을 넘어 자연스러운 조건에서의 안전성과 공정성에 대한 연구는 여전히 부족하다. 우리는 최신 음성 모델 릴리스의 안전 보고 관행을 조사한 결과, 오직 8%만이 다국어 분석을 문서화하고 있음을 발견했다. 이러한 격차를 해소하기 위해, 우리는 실제 음성을 기반으로 구축된 오디오 및 음성용 다국어 안전 및 공정성 벤치마크인 RedVox를 소개한다. 이 벤치마크는 영어, 프랑스어, 이탈리아어, 스페인어, 독일어 등 다섯 가지 언어에 걸쳐 안전하지 않거나 불공정한 고정관념적 요청을 다룬다. 여덟 개의 최신 모델을 평가한 결과, 취약점은 비적대적 조건에서도 지속되며, 비영어 언어에서는 악화되고, 요청이 음성 입력으로 이루어질 때 더 증폭된다는 것을 발견했다. 마지막으로, RedVox에 기여한 참가자들을 대상으로 설문조사를 실시하여 인간 참가자와 함께 음성 데이터를 수집하는 데 따르는 독특한 개인정보 및 프라이버시 문제를 문서화하며, 이는 자연스러운 음성 안전 연구에서 더 광범위한 사회기술적 과제를 시사한다.

English

Speech-capable models are increasingly deployed in real-world applications across languages. Yet their safety and fairness beyond English settings and under naturalistic conditions remain understudied. We survey safety reporting practices across state-of-the-art speech model releases, finding that only 8% document any multilingual analysis. To address this gap, we introduce RedVox, a multilingual safety and fairness benchmark for audio and speech built on real voices, covering unsafe and unfair stereotypical requests across five languages (English, French, Italian, Spanish, and German). Evaluating eight state-of-the-art models, we find that vulnerabilities persist even under non-adversarial conditions, worsen in non-English languages, and are amplified when the request comes from a spoken input. Finally, by surveying the participants who contributed to RedVox, we document the unique personal and privacy challenges of collecting speech data with human participants, pointing to broader sociotechnical challenges in naturalistic speech safety research.