Een grootschalige dataset voor het leren van audio-taalrepresentaties

A Large-scale Dataset for Audio-Language Representation Learning

September 20, 2023

Auteurs: Luoyi Sun, Xuenan Xu, Mengyue Wu, Weidi Xie

cs.AI

Samenvatting

De AI-gemeenschap heeft aanzienlijke vooruitgang geboekt in de ontwikkeling van krachtige foundation-modellen, aangedreven door grootschalige multimodale datasets. In de gemeenschap voor audio-representatie leren kampen de huidige audio-taal datasets echter met beperkingen zoals onvoldoende omvang, simplistische inhoud en moeizame verzamelprocedures. Om deze uitdagingen aan te pakken, presenteren we een innovatieve en automatische pijplijn voor het genereren van audiobijschriften, gebaseerd op een reeks openbare tools of API's, en construeren we een grootschalige, hoogwaardige audio-taal dataset, genaamd Auto-ACD, bestaande uit meer dan 1,9 miljoen audio-tekst paren. Om de effectiviteit van de voorgestelde dataset aan te tonen, trainen we populaire modellen op onze dataset en laten we prestatieverbeteringen zien op verschillende downstream taken, namelijk audio-taal retrieval, audiobijschrijving en omgevingsclassificatie. Daarnaast stellen we een nieuwe testset op en bieden we een benchmark voor audio-tekst taken. De voorgestelde dataset zal worden vrijgegeven op https://auto-acd.github.io/.

English

The AI community has made significant strides in developing powerful foundation models, driven by large-scale multimodal datasets. However, in the audio representation learning community, the present audio-language datasets suffer from limitations such as insufficient volume, simplistic content, and arduous collection procedures. To tackle these challenges, we present an innovative and automatic audio caption generation pipeline based on a series of public tools or APIs, and construct a large-scale, high-quality, audio-language dataset, named as Auto-ACD, comprising over 1.9M audio-text pairs. To demonstrate the effectiveness of the proposed dataset, we train popular models on our dataset and show performance improvement on various downstream tasks, namely, audio-language retrieval, audio captioning, environment classification. In addition, we establish a novel test set and provide a benchmark for audio-text tasks. The proposed dataset will be released at https://auto-acd.github.io/.