Vibravox : Un ensemble de données de parole française capturée à l'aide de capteurs audio par conduction corporelle

Vibravox: A Dataset of French Speech Captured with Body-conduction Audio Sensors

July 16, 2024

Auteurs: Julien Hauret, Malo Olivier, Thomas Joubaud, Christophe Langrenne, Sarah Poirée, Véronique Zimpfer, Éric Bavu

cs.AI

Résumé

Vibravox est un ensemble de données conforme au Règlement Général sur la Protection des Données (RGPD) contenant des enregistrements audio réalisés à l'aide de cinq capteurs audio différents par conduction corporelle : deux microphones intra-auriculaires, deux capteurs de vibrations par conduction osseuse et un laryngophone. L'ensemble de données inclut également des données audio provenant d'un microphone aérien utilisé comme référence. Le corpus Vibravox contient 38 heures d'échantillons de parole et de sons physiologiques enregistrés par 188 participants dans différentes conditions acoustiques imposées par un spatialiseur 3D ambisonique d'ordre élevé. Des annotations sur les conditions d'enregistrement et des transcriptions linguistiques sont également incluses dans le corpus. Nous avons mené une série d'expériences sur diverses tâches liées à la parole, notamment la reconnaissance vocale, l'amélioration de la parole et la vérification du locuteur. Ces expériences ont été réalisées à l'aide de modèles de pointe pour évaluer et comparer leurs performances sur les signaux capturés par les différents capteurs audio proposés par l'ensemble de données Vibravox, dans le but de mieux comprendre leurs caractéristiques individuelles.

English

Vibravox is a dataset compliant with the General Data Protection Regulation (GDPR) containing audio recordings using five different body-conduction audio sensors : two in-ear microphones, two bone conduction vibration pickups and a laryngophone. The data set also includes audio data from an airborne microphone used as a reference. The Vibravox corpus contains 38 hours of speech samples and physiological sounds recorded by 188 participants under different acoustic conditions imposed by an high order ambisonics 3D spatializer. Annotations about the recording conditions and linguistic transcriptions are also included in the corpus. We conducted a series of experiments on various speech-related tasks, including speech recognition, speech enhancement and speaker verification. These experiments were carried out using state-of-the-art models to evaluate and compare their performances on signals captured by the different audio sensors offered by the Vibravox dataset, with the aim of gaining a better grasp of their individual characteristics.