Vibravox: Un Dataset di Voce Francese Acquisita con Sensori Audio a Conduzione Corporea

Vibravox: A Dataset of French Speech Captured with Body-conduction Audio Sensors

July 16, 2024

Autori: Julien Hauret, Malo Olivier, Thomas Joubaud, Christophe Langrenne, Sarah Poirée, Véronique Zimpfer, Éric Bavu

cs.AI

Abstract

Vibravox è un dataset conforme al Regolamento Generale sulla Protezione dei Dati (GDPR) che contiene registrazioni audio effettuate utilizzando cinque diversi sensori audio a conduzione corporea: due microfoni in-ear, due pickup per vibrazioni a conduzione ossea e un laringofono. Il dataset include anche dati audio provenienti da un microfono aereo utilizzato come riferimento. Il corpus Vibravox comprende 38 ore di campioni vocali e suoni fisiologici registrati da 188 partecipanti in diverse condizioni acustiche imposte da uno spatializzatore ambisonico 3D di alto ordine. Nel corpus sono incluse anche annotazioni sulle condizioni di registrazione e trascrizioni linguistiche. Abbiamo condotto una serie di esperimenti su vari compiti legati al parlato, tra cui il riconoscimento vocale, il miglioramento del segnale vocale e la verifica del parlante. Questi esperimenti sono stati eseguiti utilizzando modelli all'avanguardia per valutare e confrontare le loro prestazioni sui segnali catturati dai diversi sensori audio offerti dal dataset Vibravox, con l'obiettivo di ottenere una migliore comprensione delle loro caratteristiche individuali.

English

Vibravox is a dataset compliant with the General Data Protection Regulation (GDPR) containing audio recordings using five different body-conduction audio sensors : two in-ear microphones, two bone conduction vibration pickups and a laryngophone. The data set also includes audio data from an airborne microphone used as a reference. The Vibravox corpus contains 38 hours of speech samples and physiological sounds recorded by 188 participants under different acoustic conditions imposed by an high order ambisonics 3D spatializer. Annotations about the recording conditions and linguistic transcriptions are also included in the corpus. We conducted a series of experiments on various speech-related tasks, including speech recognition, speech enhancement and speaker verification. These experiments were carried out using state-of-the-art models to evaluate and compare their performances on signals captured by the different audio sensors offered by the Vibravox dataset, with the aim of gaining a better grasp of their individual characteristics.