Vibravox: Набор данных французской речи, записанной с помощью аудиосенсоров на теле.

Vibravox: A Dataset of French Speech Captured with Body-conduction Audio Sensors

July 16, 2024

Авторы: Julien Hauret, Malo Olivier, Thomas Joubaud, Christophe Langrenne, Sarah Poirée, Véronique Zimpfer, Éric Bavu

cs.AI

Аннотация

Датасет Vibravox соответствует Общему регламенту по защите данных (GDPR) и содержит аудиозаписи, полученные с помощью пяти различных датчиков аудио с использованием технологии телесной проводимости: два внутриканальных микрофона, два датчика вибрации черепа и ларингофон. В датасете также присутствуют аудиоданные от воздушного микрофона, используемого в качестве эталона. Корпус Vibravox содержит 38 часов речевых образцов и физиологических звуков, записанных 188 участниками в различных акустических условиях, созданных высокоуровневым амбисоническим 3D пространственным модулятором. В корпус также включены аннотации о условиях записи и лингвистические транскрипции. Мы провели серию экспериментов по различным задачам, связанным с речью, включая распознавание речи, улучшение речи и верификацию диктора. Эти эксперименты были проведены с использованием передовых моделей для оценки и сравнения их производительности на сигналах, полученных различными аудиодатчиками, предоставленными датасетом Vibravox, с целью лучшего понимания их индивидуальных характеристик.

English

Vibravox is a dataset compliant with the General Data Protection Regulation (GDPR) containing audio recordings using five different body-conduction audio sensors : two in-ear microphones, two bone conduction vibration pickups and a laryngophone. The data set also includes audio data from an airborne microphone used as a reference. The Vibravox corpus contains 38 hours of speech samples and physiological sounds recorded by 188 participants under different acoustic conditions imposed by an high order ambisonics 3D spatializer. Annotations about the recording conditions and linguistic transcriptions are also included in the corpus. We conducted a series of experiments on various speech-related tasks, including speech recognition, speech enhancement and speaker verification. These experiments were carried out using state-of-the-art models to evaluate and compare their performances on signals captured by the different audio sensors offered by the Vibravox dataset, with the aim of gaining a better grasp of their individual characteristics.