Vibravox: Ein Datensatz französischer Sprache, aufgenommen mit Körperschall-Audiosensoren.

Vibravox: A Dataset of French Speech Captured with Body-conduction Audio Sensors

July 16, 2024

Autoren: Julien Hauret, Malo Olivier, Thomas Joubaud, Christophe Langrenne, Sarah Poirée, Véronique Zimpfer, Éric Bavu

cs.AI

Zusammenfassung

Vibravox ist ein Datensatz, der den Bestimmungen der Datenschutz-Grundverordnung (DSGVO) entspricht und Audioaufnahmen mit fünf verschiedenen Körperschall-Audiosensoren enthält: zwei In-Ear-Mikrofone, zwei Knochenleitungs-Schwingungsaufnehmer und ein Laryngophon. Der Datensatz enthält auch Audio-Daten von einem Luftmikrofon, das als Referenz verwendet wird. Das Vibravox-Korpus umfasst 38 Stunden Sprachproben und physiologische Geräusche, die von 188 Teilnehmern unter verschiedenen akustischen Bedingungen aufgezeichnet wurden, die von einem hochrangigen Ambisonics-3D-Raumklanggeber vorgegeben wurden. Annotationen zu den Aufnahmebedingungen und linguistische Transkriptionen sind ebenfalls im Korpus enthalten. Wir führten eine Reihe von Experimenten zu verschiedenen sprachbezogenen Aufgaben durch, darunter Spracherkennung, Sprachverbesserung und Sprecheridentifikation. Diese Experimente wurden mit hochmodernen Modellen durchgeführt, um ihre Leistungen bei Signalen zu bewerten und zu vergleichen, die von den verschiedenen von dem Vibravox-Datensatz angebotenen Audiosensoren erfasst wurden, mit dem Ziel, ein besseres Verständnis ihrer individuellen Eigenschaften zu erlangen.

English

Vibravox is a dataset compliant with the General Data Protection Regulation (GDPR) containing audio recordings using five different body-conduction audio sensors : two in-ear microphones, two bone conduction vibration pickups and a laryngophone. The data set also includes audio data from an airborne microphone used as a reference. The Vibravox corpus contains 38 hours of speech samples and physiological sounds recorded by 188 participants under different acoustic conditions imposed by an high order ambisonics 3D spatializer. Annotations about the recording conditions and linguistic transcriptions are also included in the corpus. We conducted a series of experiments on various speech-related tasks, including speech recognition, speech enhancement and speaker verification. These experiments were carried out using state-of-the-art models to evaluate and compare their performances on signals captured by the different audio sensors offered by the Vibravox dataset, with the aim of gaining a better grasp of their individual characteristics.