Ein groß angelegter Datensatz für Audio-Sprach-Repräsentationslernen
A Large-scale Dataset for Audio-Language Representation Learning
September 20, 2023
Autoren: Luoyi Sun, Xuenan Xu, Mengyue Wu, Weidi Xie
cs.AI
Zusammenfassung
Die KI-Gemeinschaft hat bedeutende Fortschritte bei der Entwicklung leistungsstarker Foundation-Modelle gemacht, die durch groß angelegte multimodale Datensätze vorangetrieben werden. Im Bereich des Audio-Repräsentationslernens leiden die derzeitigen Audio-Sprach-Datensätze jedoch unter Einschränkungen wie unzureichendem Umfang, simplistischem Inhalt und aufwendigen Erfassungsverfahren. Um diese Herausforderungen zu bewältigen, präsentieren wir eine innovative und automatische Pipeline zur Generierung von Audio-Beschreibungen, die auf einer Reihe öffentlicher Tools oder APIs basiert, und erstellen einen groß angelegten, hochwertigen Audio-Sprach-Datensatz namens Auto-ACD, der über 1,9 Millionen Audio-Text-Paare umfasst. Um die Wirksamkeit des vorgeschlagenen Datensatzes zu demonstrieren, trainieren wir beliebte Modelle auf unserem Datensatz und zeigen Leistungsverbesserungen bei verschiedenen Downstream-Aufgaben, nämlich Audio-Sprach-Retrieval, Audio-Beschreibung und Umgebungsklassifizierung. Darüber hinaus erstellen wir einen neuartigen Testdatensatz und bieten einen Benchmark für Audio-Text-Aufgaben. Der vorgeschlagene Datensatz wird unter https://auto-acd.github.io/ veröffentlicht.
English
The AI community has made significant strides in developing powerful
foundation models, driven by large-scale multimodal datasets. However, in the
audio representation learning community, the present audio-language datasets
suffer from limitations such as insufficient volume, simplistic content, and
arduous collection procedures. To tackle these challenges, we present an
innovative and automatic audio caption generation pipeline based on a series of
public tools or APIs, and construct a large-scale, high-quality, audio-language
dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To
demonstrate the effectiveness of the proposed dataset, we train popular models
on our dataset and show performance improvement on various downstream tasks,
namely, audio-language retrieval, audio captioning, environment classification.
In addition, we establish a novel test set and provide a benchmark for
audio-text tasks. The proposed dataset will be released at
https://auto-acd.github.io/.