Vibravox: un conjunto de datos de habla en francés capturado con sensores de audio de conducción corporal.

Vibravox: A Dataset of French Speech Captured with Body-conduction Audio Sensors

July 16, 2024

Autores: Julien Hauret, Malo Olivier, Thomas Joubaud, Christophe Langrenne, Sarah Poirée, Véronique Zimpfer, Éric Bavu

cs.AI

Resumen

Vibravox es un conjunto de datos que cumple con el Reglamento General de Protección de Datos (GDPR) que contiene grabaciones de audio utilizando cinco sensores de audio de conducción corporal diferentes: dos micrófonos intrauriculares, dos captadores de vibración de conducción ósea y un laringófono. El conjunto de datos también incluye datos de audio de un micrófono aéreo utilizado como referencia. El corpus de Vibravox contiene 38 horas de muestras de voz y sonidos fisiológicos grabados por 188 participantes bajo diferentes condiciones acústicas impuestas por un espacializador 3D de ambisonics de alto orden. Las anotaciones sobre las condiciones de grabación y transcripciones lingüísticas también se incluyen en el corpus. Realizamos una serie de experimentos en diversas tareas relacionadas con el habla, incluyendo reconocimiento de voz, mejora del habla y verificación de locutor. Estos experimentos se llevaron a cabo utilizando modelos de vanguardia para evaluar y comparar sus rendimientos en señales capturadas por los diferentes sensores de audio ofrecidos por el conjunto de datos de Vibravox, con el objetivo de comprender mejor sus características individuales.

English

Vibravox is a dataset compliant with the General Data Protection Regulation (GDPR) containing audio recordings using five different body-conduction audio sensors : two in-ear microphones, two bone conduction vibration pickups and a laryngophone. The data set also includes audio data from an airborne microphone used as a reference. The Vibravox corpus contains 38 hours of speech samples and physiological sounds recorded by 188 participants under different acoustic conditions imposed by an high order ambisonics 3D spatializer. Annotations about the recording conditions and linguistic transcriptions are also included in the corpus. We conducted a series of experiments on various speech-related tasks, including speech recognition, speech enhancement and speaker verification. These experiments were carried out using state-of-the-art models to evaluate and compare their performances on signals captured by the different audio sensors offered by the Vibravox dataset, with the aim of gaining a better grasp of their individual characteristics.